本文是Gilbert Strang的线性代数导论课程笔记。课程地址：
http://v.163.com/special/opencourse/daishu.html
第二十八课时：正定矩阵和最小值
本讲学习正定矩阵positive definite matrices，这个主题把整门课的知识融为一体，主元，行列式，特征值，不稳定性，新表达式
xTAx。
目标是：怎么判断一个矩阵是否是正定矩阵，为什么对正定矩阵感兴趣，最后给出几何上的解释，椭圆和正定性有关，双曲线与正定性无关。当极小值存在时，如何找出极小值应用。
A2×2的对称矩阵是否是正定矩阵的判断方法：
1）特征值方法：λ1>0, λ2>0
2）行列式方法：a>0, ac-b2>0
3）主元方法：第一个主元 a>0，第二个主元 (ac-b2)/a>0
4）新方法：xTAx>0，x是任意向量，除x=(0 0)。x=(x,y)，f(x,y)=xTAx=ax2+2bxy+cy2
方法4是大多数情况下正定性的定义。
半正定矩阵：不是正定矩阵，是对称的，是成为正定矩阵的临界点，奇异矩阵，
有一个特征值为0，特征值大于等于0。
例如：
判定
非正定矩阵
对于矩阵（[2 6],[6 7]），
对应的f(x,y)=
2
x
2
+12xy+7
y
2
的函数图像可以告诉我们一些信息
经过原点，在某个方向上向上，但在另一个方向向下，像马鞍面，中间的那个点就是鞍点，是某个方向上的极大值，另一个方向的极小值。实际上，最佳观测方向是沿特征向量的方向。
判定正定矩阵
得到的式子是二次形式，不再是线性的（Ax是线性的），纯二次形式，没有线性部分，没有常数项。
x=(x,y)，f(x,y)=
x
T
Ax=a
x
2
+2bxy+c
y
2
=
2
x
2
+12xy+20
y
2
=2(x+3y)
2
+2
y
2
。（通过配方法得到，配方实际上就是消元，消元时第一行要乘以3倍减去第二行，在配方结果中，两个主元2,2是平方项外边系数，消元时所乘3倍数在平方里面）
它的图像形状像个碗，纯二次形式，经过原点，
有极小值，极小值所在切面
所有一阶导数都为0。如果在碗状上高度为1的位置做一个切面，那这个切面就是一个椭圆
2(x+3y)
2
+2
y
2
=1
。
怎样判断极小值
微积分中，判定是否有极值，首先需要判断导数是否为0，然后要确定是极大值还是极小值，此时需要看二阶导数，二阶导数大于0时，有极小值，如果上图中从左往右看，通过最小值点后，斜率则必须是变大的。
而现在，
线性代数中，函数f(x1,x2,...,xn)存在极小值的条件是当二阶导数矩阵是正定矩阵。
二阶导数矩阵：如下2维变量x,y，用fxx表示对x变量的二阶导，fxy与fyx是相等的，因为不管先求哪个的导数得到的结果都是一样，它存在极小值的条件是它是正定矩阵。
3×3的矩阵
如果在f所表示的几何图形上面，高度为1（f=1）的地方做切割，
得到的图形则是一个扁的橄榄球，有一个长轴，另外两个轴相等，类似于一个矩阵有一重复的特征值，另一个不同（3个特征值）。如果是球的话，那就是单位矩阵，所有的特征值相同。
但是一般的情况下，
三个特征值都不相同，它相当于有一个长轴，一个中轴，一个短轴，三个轴的方向就是特征向量的方向，轴的长度由特征值大小来决定。
可以
将对称矩阵A写成QΛQT，这是主轴定理，特征向量说明主轴的方向，特征值说明那些轴的长度，这是特征值理论中最重要的分解。
京公网安备 11010802041100号