线性代数基本笔记

1.正交矩阵  

非奇异矩阵才满足特征分解的条件

矩阵的迹

特征分解

最终结论&＃xff1a;

                   如果A 为对称矩阵&＃xff0c;则 得到的 V 为正交矩阵&＃xff0c;否者不是&＃xff0c;因为 AT*A 是对称矩阵&＃xff0c;所以SVD分解&＃xff08;奇异值分解&＃xff09;得到的奇异值向量组成的矩阵为正交向量。

                    设A为n阶对称阵&＃xff0c;则必有正交阵P&＃xff0c;使得  

                            P-1AP&＃61; PTAP &＃61; Λ

                   Λ是以A的n个特征值为对角元的对角阵&＃xff08;只有对角有值&＃xff0c;其余为0 例如 diag(lambda)&＃xff09;。

                   该变换称为“合同变换”&＃xff0c;A和Λ互为合同矩阵。
 

伪逆

从线性空间的角度看&＃xff0c;在一个定义了内积的线性空间里&＃xff0c;对一个N阶对称方阵进行特征分解&＃xff0c;就是产生了该空间的N个标准正交基&＃xff0c;然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基&＃xff0c;而特征值的模则代表矩阵在每个基上的投影长度。
特征值越大&＃xff0c;说明矩阵在对应的特征向量上的方差越大&＃xff0c;功率越大&＃xff0c;信息量越多。应用到最优化中&＃xff0c;意思就是对于R的二次型&＃xff0c;自变量在这个方向上变化的时候&＃xff0c;对函数值的影响最大&＃xff0c;也就是该方向上的方向导数最大。
应用到数据挖掘中&＃xff0c;意思就是最大特征值对应的特征向量方向上包含最多的信息量&＃xff0c;如果某几个特征值很小&＃xff0c;说明这几个方向信息量很小&＃xff0c;可以用来降维&＃xff0c;也就是删除小特征值对应方向的数据&＃xff0c;只保留大特征值方向对应的数据&＃xff0c;这样做以后数据量减小&＃xff0c;但有用信息量变化不大。——————————————————举两个栗子——————————————————应用1 二次型最优化问题二次型&＃xff0c;其中R是已知的二阶矩阵(二阶求导矩阵&＃xff0c;Hessian Matrix)&＃xff0c;R&＃61;[1&＃xff0c;0.5&＃xff1b;0.5&＃xff0c;1]&＃xff0c;x是二维列向量&＃xff0c;x&＃61;[x1&＃xff1b;x2]&＃xff0c;求y的最小值。求解很简单&＃xff0c;讲一下这个问题与特征值的关系。
对R特征分解&＃xff0c;特征向量是[-0.7071&＃xff1b;0.7071]和[0.7071&＃xff1b;0.7071]&＃xff0c;对应的特征值分别是0.5和1.5。
然后把y的等高线图画一下
从图中看&＃xff0c;函数值变化最快的方向&＃xff0c;也就是曲面最陡峭的方向&＃xff0c;归一化以后是[0.7071&＃xff1b;0.7071]&＃xff0c;嗯哼&＃xff0c;这恰好是矩阵R的一个特征值&＃xff0c;而且它对应的特征向量是最大的。因为这个问题是二阶的&＃xff0c;只有两个特征向量&＃xff0c;所以另一个特征向量方向就是曲面最平滑的方向。这一点在分析最优化算法收敛性能的时候需要用到。
二阶问题比较直观&＃xff0c;当R阶数升高时&＃xff0c;也是一样的道理。应用2 数据降维兴趣不大的可以跳过问题&＃xff0c;直接看后面降维方法。
机器学习中的分类问题&＃xff0c;给出178个葡萄酒样本&＃xff0c;每个样本含有13个参数&＃xff0c;比如酒精度、酸度、镁含量等&＃xff0c;这些样本属于3个不同种类的葡萄酒。任务是提取3种葡萄酒的特征&＃xff0c;以便下一次给出一个新的葡萄酒样本的时候&＃xff0c;能根据已有数据判断出新样本是哪一种葡萄酒。
问题详细描述&＃xff1a;UCI Machine Learning Repository: Wine Data Set
训练样本数据&＃xff1a;http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data原数据有13维&＃xff0c;但这之中含有冗余&＃xff0c;减少数据量最直接的方法就是降维。
做法&＃xff1a;把数据集赋给一个178行13列的矩阵R&＃xff0c;它的协方差矩阵&＃xff0c;C是13行13列的矩阵&＃xff0c;对C进行特征分解&＃xff0c;对角化&＃xff0c;其中U是特征向量组成的矩阵&＃xff0c;D是特征之组成的对角矩阵&＃xff0c;并按由大到小排列。然后&＃xff0c;另&＃xff0c;就实现了数据集在特征向量这组正交基上的投影。嗯&＃xff0c;重点来了&＃xff0c;R’中的数据列是按照对应特征值的大小排列的&＃xff0c;后面的列对应小特征值&＃xff0c;去掉以后对整个数据集的影响比较小。比如&＃xff0c;现在我们直接去掉后面的7列&＃xff0c;只保留前6列&＃xff0c;就完成了降维。这个降维方法叫PCA&＃xff08;Principal Component Analysis&＃xff09;。
下面看结果&＃xff1a;
这是不降维时候的分类错误率。
这是降维以后的分类错误率。结论&＃xff1a;降维以后分类错误率与不降维的方法相差无几&＃xff0c;但需要处理的数据量减小了一半&＃xff08;不降维需要处理13维&＃xff0c;降维后只需要处理6维&＃xff09;。N个标准正交基&＃xff0c;然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基&＃xff0c;而特征值的模则代表矩阵在每个基上的投影长度。
特征值越大&＃xff0c;说明矩阵在对应的特征向量上的方差越大&＃xff0c;功率越大&＃xff0c;信息量越多。应用到最优化中&＃xff0c;意思就是对于R的二次型&＃xff0c;自变量在这个方向上变化的时候&＃xff0c;对函数值的影响最大&＃xff0c;也就是该方向上的方向导数最大。
应用到数据挖掘中&＃xff0c;意思就是最大特征值对应的特征向量方向上包含最多的信息量&＃xff0c;如果某几个特征值很小&＃xff0c;说明这几个方向信息量很小&＃xff0c;可以用来降维&＃xff0c;也就是删除小特征值对应方向的数据&＃xff0c;只保留大特征值方向对应的数据&＃xff0c;这样做以后数据量减小&＃xff0c;但有用信息量变化不大。——————————————————举两个栗子——————————————————应用1 二次型最优化问题二次型&＃xff0c;其中R是已知的二阶矩阵(二阶求导矩阵&＃xff0c;Hessian Matrix)&＃xff0c;R&＃61;[1&＃xff0c;0.5&＃xff1b;0.5&＃xff0c;1]&＃xff0c;x是二维列向量&＃xff0c;x&＃61;[x1&＃xff1b;x2]&＃xff0c;求y的最小值。求解很简单&＃xff0c;讲一下这个问题与特征值的关系。
对R特征分解&＃xff0c;特征向量是[-0.7071&＃xff1b;0.7071]和[0.7071&＃xff1b;0.7071]&＃xff0c;对应的特征值分别是0.5和1.5。
然后把y的等高线图画一下
从图中看&＃xff0c;函数值变化最快的方向&＃xff0c;也就是曲面最陡峭的方向&＃xff0c;归一化以后是[0.7071&＃xff1b;0.7071]&＃xff0c;嗯哼&＃xff0c;这恰好是矩阵R的一个特征值&＃xff0c;而且它对应的特征向量是最大的。因为这个问题是二阶的&＃xff0c;只有两个特征向量&＃xff0c;所以另一个特征向量方向就是曲面最平滑的方向。这一点在分析最优化算法收敛性能的时候需要用到。
二阶问题比较直观&＃xff0c;当R阶数升高时&＃xff0c;也是一样的道理。应用2 数据降维兴趣不大的可以跳过问题&＃xff0c;直接看后面降维方法。
机器学习中的分类问题&＃xff0c;给出178个葡萄酒样本&＃xff0c;每个样本含有13个参数&＃xff0c;比如酒精度、酸度、镁含量等&＃xff0c;这些样本属于3个不同种类的葡萄酒。任务是提取3种葡萄酒的特征&＃xff0c;以便下一次给出一个新的葡萄酒样本的时候&＃xff0c;能根据已有数据判断出新样本是哪一种葡萄酒。
问题详细描述&＃xff1a;UCI Machine Learning Repository: Wine Data Set
训练样本数据&＃xff1a;http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data原数据有13维&＃xff0c;但这之中含有冗余&＃xff0c;减少数据量最直接的方法就是降维。
做法&＃xff1a;把数据集赋给一个178行13列的矩阵R&＃xff0c;它的协方差矩阵&＃xff0c;C是13行13列的矩阵&＃xff0c;对C进行特征分解&＃xff0c;对角化&＃xff0c;其中U是特征向量组成的矩阵&＃xff0c;D是特征之组成的对角矩阵&＃xff0c;并按由大到小排列。然后&＃xff0c;另&＃xff0c;就实现了数据集在特征向量这组正交基上的投影。嗯&＃xff0c;重点来了&＃xff0c;R’中的数据列是按照对应特征值的大小排列的&＃xff0c;后面的列对应小特征值&＃xff0c;去掉以后对整个数据集的影响比较小。比如&＃xff0c;现在我们直接去掉后面的7列&＃xff0c;只保留前6列&＃xff0c;就完成了降维。这个降维方法叫PCA&＃xff08;Principal Component Analysis&＃xff09;。
下面看结果&＃xff1a;
这是不降维时候的分类错误率。
这是降维以后的分类错误率。结论&＃xff1a;降维以后分类错误率与不降维的方法相差无几&＃xff0c;但需要处理的数据量减小了一半&＃xff08;不降维需要处理13维&＃xff0c;降维后只需要处理6维&＃xff09;。

无穷范数 &＃xff0c;也是 最大范数

F范数&＃xff0c;矩阵的各元素平方和。