李宏毅2020机器学习深度学习笔记1+2深度学习基础与实践课程笔记2

机器学习&＃xff1a;研究如何从观测数据 (observations) 中寻找“规律”(skill)&＃xff0c;这些规律可以在未知数据上的表现有所改进。

目的&＃xff1a;使用“高质量”的训练数据&＃xff0c;构建“合适”的模型&＃xff0c;以“更佳地”完成任务。

本质&＃xff1a;让机器自动帮人类找函数。

历史&＃xff1a;早期称为模式识别&＃xff0c;当时更偏向于具体的应用任务&＃xff0c;比如字符识别、语音识别。

寻找最优函数的过程称为学习或者训练。

应用&＃xff1a;分类、聚类、回归、关系预测、目标检测、语义分割、机器翻译、生成……

分类&＃xff1a;判断/创造

方法&＃xff1a;1.定义模型 2.定义损失函数 3.转化为优化问题 4.开始train

————

李宏毅课程笔记1

supervised learning&＃xff1a;提前想好想让电脑输出什么类型的函数-需要给电脑一些训练数据集和训练结果&＃xff08;是猫还是狗&＃xff09;

reinforcement learning&＃xff1a;不直接给结果而是给部分&＃xff08;不直接告诉机器下一步下到哪里&＃xff0c;而是以下很多盘的不同结果来作为训练数据&＃xff09;【AlphaGo最早是先supervised再RL】

unsupervised learning&＃xff1a;只有数据没有结果

explanable AI&＃xff1a;不仅要知道输出“是猫”&＃xff0c;还要输出“为什么是”

Adversarial Attack&＃xff1a;怎样给予一个可能肉眼无法识别的attack使得网络识别出故障

Network compression&＃xff1a;怎样让网络在手机、甚至更小的载体上运行

anomaly detection&＃xff1a;怎么知道不知道这个东西

domain adversary&＃xff1a;怎样在domain变化之后保持学习能力&＃xff08;甲方给换了背景hhh&＃xff09;

Meta learning:如何让机器自己学习假设一个模型让机器自己跑&＃xff08;functional&＃xff09;

2&＃xff1a;regression&＃xff1a;

假设

因为越简单的model越不依赖于data&＃xff0c;最极端的情况就是constant的model直接与data无关。

正常来说&＃xff0c;简单的model可能&＃xff08;由于对data依赖性低&＃xff09;variance较小&＃xff0c;但是由于model简单bias大&＃xff08;underfitting&＃xff09;&＃xff0c;复杂的model均值来看可能比较符合但是variance会大&＃xff08;over fitting&＃xff09;

如果出现预测的函数与实际函数偏差较大的话&＃xff0c;我们认为出现了under fitting的情况&＃xff0c;这种情况下我们考虑redesign这个model&＃xff1b;如果模型在训练集上的error很小但是在验证集上error很大&＃xff0c;那么很有可能出现了over fitting的情况&＃xff0c;这时候我们可以考虑

1.增加训练集&＃xff1a;这个是万灵丹&＃xff0c;无论什么问题增加训练集都可以缓解&＃xff0c;但是实际上可能很难&＃xff0c;。因此码农们考虑自己生成训练集&＃xff1a;字符识别的考虑转向、图像识别的考虑镜像对称一下、语音识别的考虑机翻……

2.regularization&＃xff1a;加一个term&＃xff0c;在前面有weight---表示你希望你的函数有多么平滑

但是可能伤害bias&＃xff08;可能导致target不包含在set里&＃xff09;&＃xff0c;因此需要调整weight。

训练集、测试集和验证集

优化&＃xff1a;