对范数求偏导数

首先介绍点基础知识&＃xff0c;另一方面也算是巩固下&＃xff1a;
A−1表示A的逆矩阵;
AT表示A的转置;
AH表示Hermitian矩阵(A的共轭转置矩阵A∗&＃61;&＃61;A)

基础

&＃xff08;1&＃xff09;迹&＃xff08;Trace&＃xff09;

eig(A)表示A的特征值

&＃xff08;2&＃xff09;行列式&＃xff08;Determinant&＃xff09;

&＃xff08;3&＃xff09;特例2*2矩阵

以上是摘自&＃xff1a;The Matrix Cookbook
也可参考维基百科&＃xff1a;Matrix calculus

L1范数的次微分

L1范数不可微。但是存在次梯度&＃xff0c;即是次微分的
L1范数的次梯度如下&＃xff1a;

其中sign(x) 表示如下&＃xff1a;





而

L1范数&＃xff1a;



例如&＃xff1a;

x&＃61;(3,2,−5)T

故其梯度为&＃xff1a;sign(x)&＃61;(1,1,-1)

L2范数的微分

例如&＃xff1a;求解下面函数的偏导数&＃xff1a;

得&＃xff1a;



注意这里得到的是行向量的形式&＃xff0c;因此还需要对其进行转置

以上的推倒是基于上图公式得到。。。