机器学习：特征降维

1&＃xff0c;概述

1.1&＃xff0c;维数灾难

维数灾难&＃xff1a;通常是指在涉及到向量的计算的问题中&＃xff0c;随着维数的增加&＃xff0c;计算量呈指数倍增长的一种现象。在很多机器学习问题中&＃xff0c;训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话&＃xff0c;不仅会让训练非常缓慢&＃xff0c;还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。

维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸多领域。在机器学习的建模过程中&＃xff0c;通常指的是随着特征数量的增多&＃xff0c;计算量会变得很大&＃xff0c;如特征达到上亿维的话&＃xff0c;在进行计算的时候是算不出来的。有的时候&＃xff0c;维度太大也会导致机器学习性能的下降&＃xff0c;并不是特征维度越大越好&＃xff0c;模型的性能会随着特征的增加先上升后下降。

1.2&＃xff0c;降维

降维是将训练数据中的样本(实例)从高维空间转换到低维空间&＃xff0c;该过程与信息论中有损压缩概念密切相关。同时要明白的&＃xff0c;不存在完全无损的降维。

如果矩阵过大&＃xff0c;就会导致训练时间过长&＃xff0c;所以需要降低特征矩阵维度。降维是指通过保留重要的特征&＃xff0c;减少数据特征的维度。而特征的重要性取决于该特征能够表达多少数据集的信息&＃xff0c;也取决于使用什么方法进行降维。特征降维方法包括&＃xff1a;PCA、LDA、奇异值分解SVD和局部线性嵌入LLE。而降维的好处可以节省存储空间&＃xff0c;加快计算速度&＃xff0c;避免模型过拟合等。在这些方法中&＃xff0c;降维是通过对原始数据的线性变换实现的。

降维原因&＃xff1a;

• 高维数据增加了运算的难度。
• 高维使得学习算法的泛化能力变弱&＃xff08;例如&＃xff0c;在最近邻分类器中&＃xff0c;样本复杂度随着维度成指数增长&＃xff09;&＃xff0c;维度越高&＃xff0c;算法的搜索难度和成本就越大。
• 降维能够增加数据的可读性&＃xff0c;利于发掘数据的有意义的结构。

降维的主要作用&＃xff1a;减少冗余特征&＃xff0c;降低数据维度&＃xff0c;数据可视化。

• 减少冗余特征&＃xff1a;假设我们有两个特征&＃xff1a;

   

  现在我们的矩阵&＃x1d434; 只需要黄色的部分的三个小矩阵就可以近似描述了。

  【案例】