主成分分析其实就是奇异值分解SVD在数据特征提取上的应用.
如上图,黑点是数据点,那么长的那个红箭头就是数据最主要的方向,也就是最显明/差异最明显的特征.
求法:就是对于所有数据,找出vi使得数据在vi方向上的方差最大,而且vi要满足与v1~v(i-1)张成的空间正交.
PCA与奇异值分解SVD的关系:
在<一分钟了解"特征值分解与奇异值分解SCD的区别">一文中,可知SVD可用于数据压缩: