矩阵求导公式_机器学习门槛之矩阵求导（三）多元线性回归矩阵求导

机器学习门槛之矩阵求导&＃xff08;二&＃xff09;

行云流水秀&＃xff1a;机器学习门槛之矩阵求导&＃xff08;二&＃xff09;​zhuanlan.zhihu.com

提到有六种矩阵求导的形式如下&＃xff1a;

1&＃xff1a;

2&＃xff1a;

3&＃xff1a;

4:

5:

6&＃xff1a;

常用的矩阵求导公式(采用分子布局的矩阵求导公式)&＃xff1a;

下面的式子中小写字母a表示标量a&＃xff0c;带横线的小写字母

a&＃xff0c;

需要记住 下面的求导公式&＃xff0c;就像记住高中常见的求导公式一样。

(c1)

(c2)

(c3)

(c4)

(c5)

下面的几个最重要&＃xff1a;

下面的式子中小写字母a表示标量a&＃xff0c;带横线的小写字母

表示列向量&＃xff0c;大写字母A表示矩阵&＃xff0c;a&＃xff0c;

(c6)

(c7)

(c8)

(c9)

(c10)

(c11)

回到多元线性回归模型&＃xff1a;

行云流水秀&＃xff1a;机器学习门槛之矩阵求导&＃xff08;一&＃xff09;​zhuanlan.zhihu.com行云流水秀&＃xff1a;机器学习门槛之矩阵求导&＃xff08;二&＃xff09;​zhuanlan.zhihu.com

下面的式子中小写字母a表示标量a&＃xff0c;带横线的小写字母

表示列向量&＃xff0c;大写字母A表示矩阵&＃xff0c;a&＃xff0c;

所以loss对

(1)

(2)

根据公式&＃xff08;c6&＃xff09;

可知

(3)

根据公式&＃xff08;c6&＃xff09;

可知&＃xff1a;

(4)

根据公式&＃xff08;c11):

可知

综上(1)(2)(3)(4)可知&＃xff1a;

大功告成&＃xff01;

多元线性回归或者最小二乘法&＃xff08;最小平方法&＃xff09;的解为&＃xff1a;

等号两边同时转置得&＃xff1a;

所以可得&＃xff1a;

大功彻底告成&＃xff01;

总结&＃xff1a;矩阵求导要会套公式&＃xff0c;和高中数学求导一样。

去哪里找矩阵求导公式&＃xff0c;一个是 The Matrix Cookbook &＃xff0c;一个小册子。下载链接&＃xff1a;链接&＃xff1a;https://pan.baidu.com/s/12_Xqlw1VWosEOpwqB_S1SA

提取码&＃xff1a;71md

二是Matrix Calculus网站

Matrix Calculus​www.matrixcalculus.org

&＃xff0c;使用参考&＃xff1a;

二圈妹&＃xff1a;矩阵求导简介​zhuanlan.zhihu.com