吴恩达老师机器学习笔记（五：降维（主成分分析PCA））

第15章节——降维

降低维度的作用&＃xff1a;

• ·数据压缩&＃xff08;对数据进行压缩&＃xff0c;使得数据占用较少的内存或者硬盘空间&＃xff0c;还可以让我们对学习算法进行加速&＃xff09;
• ·可视化数据

二维——》降低到一维 二维平面上的数据 映射到 一条线上&＃xff0c;即数据本身需要二维向量来表示&＃xff0c;通过降维&＃xff0c;一维向量即可表示该样本数据
三维——》降低到二维 三维空间映射到平面

• 数据压缩&＃xff1a;

&＃xfffc;

• 可视化
  
  这里把 总的GDP( 收入、幸福指数) 映射到 Z1&＃xff0c;把 平均 GDP( 收入、幸福指数) 映射到 Z2
  主成分分析PCA&＃xff1a; 找到一个低维度的平面来对数据进行投影&＃xff0c;以便最小化投影误差的平方&＃xff0c;以及最小化每个每个点和投影后的对应点之间的距离的平方值。
  均值归一化&＃xff08;特征缩放&＃xff09;
  数据重构&＃xff08;即高纬度数据压缩到低纬度&＃xff0c;再转换为高纬度的过程&＃xff0c;可以得到原始数据的近似&＃xff09;
  
  如图所示&＃xff1a;该过程为&＃xff0c;把绿色线上的点&＃xff0c;映射压缩到用 一维 的 Z 表示&＃xff0c;然后 把一维的数据 反向映射回去的过程&＃xff0c;低维 到 高维&＃xff0c;可以得到最初数据的近似。

如果你的数据样本是 10000维&＃xff0c;比如 100 * 100 的图片&＃xff0c;这种高维的特征向量&＃xff0c;运行学习算法时将变得非常慢。而 PCA 算法 可以有效 减少数据的维度&＃xff0c;从而使算法运行得更加高效。使学习算法运行更快&＃xff0c;而且不就
在许多问题上&＃xff0c;我们的确可以减少数据的维度到 十分之一&＃xff0c;而且仍然保留着数据的方差特性&＃xff0c;几乎不影响性能。
PCA 做的是 定义一个从 X 到 Z 的映射&＃xff0c;通过降低数据维度&＃xff0c;来提升算法学习速度的方法。

PCA的应用&＃xff1a;

• 对于数据降维&＃xff08;数据压缩&＃xff09;&＃xff0c;为了选择 K ,我们通常会计算方差保留的百分比&＃xff0c;通常学习算法加速应用需要保留 99% 的方差。
• 对于可视化而言&＃xff0c;我们通常选择K 等于 2 或者 3

其他需要注意的地方&＃xff1a;

• 通过PCA 减少数据维度的方法 来 防止 过拟合&＃xff0c;效果也许会不错&＃xff0c;但是这不是一种解决过拟合好的方式。
• 对于解决过拟合&＃xff0c;使用正则化的方式更合适。
• 使用PCA较好的方式是使用它来提升学习算法的速度
• 一个项目计划中&＃xff0c;不要一开始就使用PCA, 应该先看看原始数据的运行效果和速度&＃xff0c;再考虑是否可以使用PCA来进行优化