【《机器学习》周志华学习笔记1.11.2】~什么是“机器学习”？机器学习有哪些基本概念？

看到乌云密布&＃xff0c;自己推测出要下雨

通过一个苹果的表面和大小&＃xff0c;来判断这个苹果是否好吃

我们通过经验来进行判断&＃xff0c;这是因为我们积累了许多有用的经验&＃xff0c;通过对有用经验的分析&＃xff0c;就能对遇到的情况做出相应的对策。

计算机中&＃xff0c;经验就是“数据”&＃xff0c;判断模型就是“算法”&＃xff0c;机器学习就是研究“学习算法”。

举例&＃xff1a;当计算机数据库有上千万只猫的照片&＃xff0c;并对其特点进行建模分析&＃xff0c;你给机器一张照片&＃xff0c;它就能进行判断这张照片的动物是不是猫。&＃xff08;有人问&＃xff1a;会不会出错&＃xff1f;肯定会出错啊&＃xff01;模型如果100%就不会出错&＃xff0c;这是依赖于“算法”的好坏和数据库的大小。我们人类的经验也有时候会出错&＃xff0c;这其实就是概率的问题&＃xff09;

基本概念&＃xff1a;从具体到抽象

要进行机器学习&＃xff0c; 首先要准备数据。 还是以猫为例&＃xff1a;

{猫颜色&＃xff1a;黑的、白的、黄的...}  、{猫眼睛&＃xff1a;颜色一样的&＃xff0c;颜色不一样} 、{猫有的有铃铛&＃xff0c;有的没有铃铛}   这些都是“特征”“属性”&＃xff0c;每一只猫的属性有很多种&＃xff0c;我们可以用一只黑色&＃43;眼睛颜色一样&＃43;没有铃铛的猫来进行描述。

比如现在有100只猫的照片&＃xff0c;那么 这个就 称为“样本空间”

这100只猫的属性集合&＃xff0c;分开形成各自的集合&＃xff0c;比如上面3个集合&＃xff0c;那就称为“属性空间”

抽象&＃xff1a;D&＃61;{x1,x2,x3.....xm}表示有m个示例的数据集。&＃xff08;100只猫的照片形成的数据集&＃xff09;

每个x都有d个属性描述&＃xff08;每只猫可以由&＃xff1a;颜色&＃43;眼睛色彩&＃43;铃铛等属性区分&＃xff09;&＃xff0c;d是维数

x是样本空间的一个向量

从数据中学习得的模型称为“学习”或者“训练”

每一个样本&＃xff08;每一张猫的照片&＃xff09;称为一个“训练样本”&＃xff0c;训练样本的集合 为“训练集”

潜在的规律称为“假设”&＃xff0c;也称为“真相”、“真实”&＃xff0c;学习过程就是不断 找到真相。

仅仅有前面示例的猫的照片也不够&＃xff0c;需要建立联系&＃xff0c;就是告诉计算机这是不是猫&＃xff0c;&＃xff08;白色&＃xff0c;双眼一样&＃xff0c;有铃铛&＃xff1b;这只是猫&＃xff09;注意分号&＃xff01;这是一个“标记”&＃xff0c;拥有了标记&＃xff0c;这就成为了一个“样例”这样的集合成为“标记空间”“输出空间”

给你一张照片&＃xff0c;判断是不是猫&＃xff0c;这个叫做“分类”&＃xff0c;预测是连续值&＃xff0c;成为“回归”

只涉及两个类别的分类成为“二分类”问题&＃xff1a; “正类”&＃43;“反类”&＃xff1b;多个分类成为&＃xff1a;“多分类”

预测的过程称为&＃xff1a;“测试”&＃xff1b;测试的东西称为&＃xff1a;“测试样本”

同时可以对其进行聚类分析&＃xff1a;比如把猫分为&＃xff1a;橘猫&＃xff0c;波斯猫....聚类分析有利于进一步学习&＃xff0c;找到潜在规律&＃xff0c;这些规律我们事先并不知道。

根据训练数据是否有标记&＃xff1a;“监督学习”&＃43;“无监督学习”

监督学习代表&＃xff1a;分类和回归&＃xff1b;无监督学习代表&＃xff1a;聚类

训练的目的是解决未知情况&＃xff0c;对于“新样本”的认识能力&＃xff0c;也就是“泛化”能力

 假设样本空间 服从一个未知分布&＃xff0c;每个样本 都是独立的&＃xff0c;“独立同分布”&＃xff0c;一般而言&＃xff0c; 训练样本越多&＃xff0c;这个未知分布越 明确&＃xff0c;越实用&＃xff0c; 泛化能力也越强&＃xff01;