机器学习基础之半监督学习

  半监督学习是指让学习器的训练不仅仅依赖于对训练样本的标记&＃xff0c;而是可以利用未标记的样本实现自主学习的一种方式。相对应的常规基于已标记的样本进行模型训练&＃xff0c;然后使用训练的结果对待预测数据进行预测的方式称为主动学习。

  生成式方法是直接假设所有的样本数据&＃xff0c;不论是否进行了标记&＃xff0c;都由同一个未知的模型生成&＃xff0c;因此可以通过该模型将未标记的数据跟学习目标建立联系&＃xff0c;最终使用EM算法&＃xff08;目标和参数相互迭代&＃xff09;求解得到模型&＃xff0c;进而可以实现未标记样本的分类。
  如上所述&＃xff0c;假定数据分布属于某个模型后&＃xff0c;记得得到对应模型的的生成式半监督学习模型&＃xff0c;常用的有高斯混合模型、混合专家模型及朴素贝叶斯模型等。但是&＃xff0c;如果模型的假设不准确&＃xff0c;及模型跟样本分布不一致&＃xff0c;则可能会出现较差的结果&＃xff0c;具体模型的假设通常需要一定的先验知识&＃xff0c;或者对样本数据的领域知识。

  半监督支持向量机是支持向量机在半监督学习方向的拓展&＃xff0c;标准的支持向量机的目标是找到最大间隔划分的超平面&＃xff0c;而板件的支持向量机的目标是穿过低数据密度区域的划分超平面&＃xff0c;当然&＃xff0c;相同点都是针对二分类问题的学习方法。

  对于一个样本数据集&＃xff0c;可以映射为一个图&＃xff0c;每个样本集可以对应于图中的节点&＃xff0c;如果两个样本之间的相似度高或相关性强&＃xff0c;则节点之间可以建立一条边&＃xff0c;边的强度对应于样本之间的相似度。
  该方法有两个缺陷&＃xff0c;第一&＃xff0c;存储上开销较大&＃xff0c;是空间复杂度为O(m2)O(m^2)O(m2)&＃xff0c;因此很难处理大样本集&＃xff1b;第二&＃xff0c;图的构建过程仅考虑训练样本集&＃xff0c;无法判断待测样本&＃xff0c;因此有新样板或待测样本时需要重进建图。

  前面介绍的方法都是基于单个学习器的&＃xff0c;而基于分歧的方法使用多学习器&＃xff0c;考虑多学习器之间的分歧的选择&＃xff0c;来决定未标记数据的结果&＃xff0c;协同训练是常用的基于分歧的方法。
  协同训练的原理是&＃xff0c;首先选择多个学习器分别基于已标记样本训练得到分类器&＃xff0c;然后在未标记样本中选择最大概率的分类作为伪标记&＃xff0c;最后将伪标记提供给其他学习器进行训练&＃xff1b;持续迭代这种交叉学习&＃xff0c;直到所有学习器的结果不再变化&＃xff0c;或者学习次数达到某个预定值。

  聚类本身是一种无监督学习方法&＃xff0c;不过常规的样本中都有一些监督的信息&＃xff0c;因此可以利用这些监督信息来进行半监督聚类学习&＃xff0c;常见的监督信息分两类&＃xff1a;第一类基于样本之间关系的必连和勿连&＃xff0c;必连指样本必属于同一类&＃xff0c;勿连指样本必不属于同一类&＃xff1b;第二类是存在已标记的样本。
  对于第一类监督信息&＃xff0c;约束k均值算法是常用的半监督聚类方法&＃xff0c;原理是在保持必连和勿连的前提下&＃xff0c;寻找距离当前样本最近的类别&＃xff0c;直到分类不再变化。对于第二类监督信息&＃xff0c;约束种子k均值算法是常用方法&＃xff0c;原理是在保持已标记样本所属分类不变的前提下&＃xff0c;寻找距离当前样本最近的类别&＃xff0c;直到分类不再变化。

点击查看 (人工智能) 系列文章