什么是无监督学习（监督学习，半监督学习，无监督聚类）？

这个问题可以回答得很简单&＃xff1a;是否有监督&＃xff08;supervised&＃xff09;&＃xff0c;就看输入数据是否有标签&＃xff08;label&＃xff09;。输入数据有标签&＃xff0c;则为有监督学习&＃xff0c;没标签则为无监督学习。

但根据知乎惯例&＃xff0c;答案还是要继续扩展的。

首先看什么是学习&＃xff08;learning&＃xff09;&＃xff1f;一个成语就可概括&＃xff1a;举一反三。此处以高考为例&＃xff0c;高考的题目在上考场前我们未必做过&＃xff0c;但在高中三年我们做过很多很多题目&＃xff0c;懂解题方法&＃xff0c;因此考场上面对陌生问题也可以算出答案。机器学习的思路也类似&＃xff1a;我们能不能利用一些训练数据&＃xff08;已经做过的题&＃xff09;&＃xff0c;使机器能够利用它们&＃xff08;解题方法&＃xff09;分析未知数据&＃xff08;高考的题目&＃xff09;&＃xff1f;

最简单也最普遍的一类机器学习算法就是分类&＃xff08;classification&＃xff09;。对于分类&＃xff0c;输入的训练数据有特征&＃xff08;feature&＃xff09;&＃xff0c;有标签&＃xff08;label&＃xff09;。所谓的学习&＃xff0c;其本质就是找到特征和标签间的关系&＃xff08;mapping&＃xff09;。这样当有特征而无标签的未知数据输入时&＃xff0c;我们就可以通过已有的关系得到未知数据标签。

在上述的分类过程中&＃xff0c;如果所有训练数据都有标签&＃xff0c;则为有监督学习&＃xff08;supervised learning&＃xff09;。如果数据没有标签&＃xff0c;显然就是无监督学习&＃xff08;unsupervised learning&＃xff09;了&＃xff0c;也即聚类&＃xff08;clustering&＃xff09;。

目前分类算法的效果还是不错的&＃xff0c;但相对来讲&＃xff0c;聚类算法就有些惨不忍睹了。确实&＃xff0c;无监督学习本身的特点使其难以得到如分类一样近乎完美的结果。这也正如我们在高中做题&＃xff0c;答案&＃xff08;标签&＃xff09;是非常重要的&＃xff0c;假设两个完全相同的人进入高中&＃xff0c;一个正常学习&＃xff0c;另一人做的所有题目都没有答案&＃xff0c;那么想必第一个人高考会发挥更好&＃xff0c;第二个人会发疯。

这时有人可能会想&＃xff0c;难道有监督学习和无监督学习就是非黑即白的关系吗&＃xff1f;有没有灰呢&＃xff1f;Good idea。灰是存在的。二者的中间带就是半监督学习&＃xff08;semi-supervised learning&＃xff09;。对于半监督学习&＃xff0c;其训练数据的一部分是有标签的&＃xff0c;另一部分没有标签&＃xff0c;而没标签数据的数量常常极大于有标签数据数量&＃xff08;这也是符合现实情况的&＃xff09;。隐藏在半监督学习下的基本规律在于&＃xff1a;数据的分布必然不是完全随机的&＃xff0c;通过一些有标签数据的局部特征&＃xff0c;以及更多没标签数据的整体分布&＃xff0c;就可以得到可以接受甚至是非常好的分类结果。&＃xff08;此处大量忽略细节&＃xff09;

因此&＃xff0c;learning家族的整体构造是这样的&＃xff1a;
有监督学习&＃xff08;分类&＃xff0c;回归&＃xff09;
↕
半监督学习&＃xff08;分类&＃xff0c;回归&＃xff09;&＃xff0c;transductive learning&＃xff08;分类&＃xff0c;回归&＃xff09;
↕
半监督聚类&＃xff08;有标签数据的标签不是确定的&＃xff0c;类似于&＃xff1a;肯定不是xxx&＃xff0c;很可能是yyy&＃xff09;
↕
无监督学习&＃xff08;聚类&＃xff09;