python绘图设置正交坐标等距_Python:线性代数机器学习背后的优化原理(五十五)...

作者：凯鹏2502896277 | 来源：互联网 | 2024-09-26 10:09

线性代数：机器学习背后的优化原理线性代数作为数学的一个分支，广泛应用于科学和工程中，掌握好线性代数对于理解和从事机器学习算法相关工作是很有

线性代数&＃xff1a;机器学习背后的优化原理

线性代数作为数学的一个分支&＃xff0c;广泛应用于科学和工程中&＃xff0c;掌握好线性代数对于理解和从事机器学习算法相关工作是很有必要的&＃xff0c;尤其对于深度学习算法而言。因此&＃xff0c;这个项目会从浅入深更好的帮助你学习与积累一些跟人工智能强相关的线性代数的知识。

本项目内容理论知识部分参考《DeepLearning》又名花书第二章&＃xff0c;希望大家支持正版购买图书。

若项目中的题目有困难没完成也没关系&＃xff0c;我们鼓励你带着问题提交项目&＃xff0c;评审人会给予你诸多帮助。

所有选做题都可以不做&＃xff0c;不影响项目通过。如果你做了&＃xff0c;那么项目评审会帮你批改&＃xff0c;也会因为选做部分做错而判定为不通过。

准备工作

我们将讲解常用的线性代数知识&＃xff0c;而学员需使用numpy来实现这些知识点(当然也可以自己写算法实现)&＃xff0c;还需要使用matplotlib完成规定图像习题&＃xff0c;当然&＃xff0c;本项目用到的python代码(或numpy的使用)课程中并未完全教授&＃xff0c;所以需要学员对相应操作进行学习与查询&＃xff0c;这在我们往后的人工智能学习之旅中是必不可少的一个技能&＃xff0c;请大家珍惜此项目的练习机会。

当然&＃xff0c;这里提供官方的numpy Quickstart来帮助你更好的完成项目。

本项目还需要使用LaTeX公式&＃xff0c;以下两个链接供学习与使用&＃xff1a;

首先&＃xff0c;导入你所需的软件包。一般我们建议在工程开头导入所有需要的软件包。

# TODO: import相关库

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import seaborn as sb

# 使用 notebook 中的魔法指令 %matplotlib inline&＃xff0c;否则会导致你接下来无法打印出图像

%matplotlib inline

1、标量&＃xff0c;向量&＃xff0c;矩阵&＃xff0c;张量

首先&＃xff0c;让我们回顾下基本的定义&＃xff1a;

标量(scalar)&＃xff1a;形式而言&＃xff0c;一个标量是一个单独的数&＃xff0c;常用斜体的小写变量名称来表示。v

向量(vector)&＃xff1a;形式而言&＃xff0c;一个向量是一列有序数&＃xff0c;常用粗体的小写变量名称表示v&＃xff0c;或者上面标记剪头$\vec{v}$

矩阵(matrix)&＃xff1a;形式而言&＃xff0c;一个矩阵是一个二维数组&＃xff0c;常用大写变量名称表示A&＃xff0c;表示内部的元素则会使用$A_{i,j}$

张量(tensor)&＃xff1a;形式而言&＃xff0c;一个张量是一个多维数组&＃xff0c;常用粗体的大写字母变量名称表示T&＃xff0c;表示内部的元素则会使用 $ A_{i,j,z} $ 等等

用图片直观的显示区别如下

接下来让我们回顾下基本的运算&＃xff1a;

加法

标量乘法

转置

矩阵向量乘法(内积&＃xff0c;人工智能中常见的拼写&＃xff1a;matrix product 或者 dot product)

线性方程组&＃xff1a;

由矩阵乘法也演变出了我们最常见的线性方程组&＃xff0c;已知矩阵与未知向量的乘积&＃xff0c;等于另一个已知向量&＃xff0c;通过此方程组可求解那个未知向量&＃xff0c;一般写为x&＃xff0c;具体如下表示。

等式左侧可以这么来理解&＃xff1a;

列为具体的矩阵来看&＃xff1a;

\begin{bmatrix}

A{1,1} & A{1,2} & \cdots & A{1,n} \\

A{2,1} & A{2,2} & \cdots & A{2,n} \\

\cdots & \cdots & \cdots & \cdots \\

A{m,1} & A{m,2} & \cdots & A_{m,n}

\end{bmatrix}

\times

\begin{bmatrix}

x_1 \\

x_2 \\

\cdots \\

x_n

\end{bmatrix} &＃61;

\begin{bmatrix}

b_1 \\

b_2 \\

\cdots \\

b_m

\end{bmatrix}

或者更简单的表示为

$$Ax&＃61;b$$

既然有未知数&＃xff0c;那么自然需要求解未知数&＃xff0c;而我们的未知数需要满足所有方程&＃xff0c;也不是一直都有解的&＃xff0c;下面来列我们二维矩阵所组成的方程解的情况,若两条线平行不存在焦点&＃xff0c;那么说明没有一个$x_1$, $x_2$同时满足两个方程&＃xff0c;则此方程组无解&＃xff0c;同理&＃xff0c;若相交&＃xff0c;则有一个解&＃xff0c;若完全相等&＃xff0c;则有无穷个解。

1.1、基本运算并绘图

例题 $\vec{v}$ &＃43; $\vec{w}$

$\hspace{1cm}\vec{v} &＃61; \begin{bmatrix} 1\ 1\end{bmatrix}$

$\hspace{1cm}\vec{w} &＃61; \begin{bmatrix} -2\ 2\end{bmatrix}$

结果需要先使用numpy计算向量运算结果&＃xff0c;并用LaTeX公式表示&＃xff1a;

$$\hspace{1cm}\vec{v}&＃43;\vec{w} &＃61; \begin{bmatrix} -1\ 3\end{bmatrix}$$

并使用matlibplot绘制出(图表颜色样式不要求)

1.1.1

根据上面例题展示&＃xff0c;计算并绘制 $2\vec{v}$ - $\vec{w}$ 的结果

$$\hspace{1cm}\vec{v} &＃61; \begin{bmatrix} 4\ 1\end{bmatrix}$$

$$\hspace{1cm}\vec{w} &＃61; \begin{bmatrix} -1\ 2\end{bmatrix}$$

# 1.1.1 TODO&＃xff1a;

v &＃61; np.array([4, 1])

vv &＃61; 2 * v

w &＃61; np.array([-1, 2])

res &＃61; vv - w

# Creates axes of plot referenced &＃39;ax&＃39;

ax &＃61; plt.axes()

# Plots red dot at origin (0,0)

ax.plot(0,0,&＃39;or&＃39;)

# Plots vector v as blue arrow starting at origin 0,0

ax.arrow(0, 0, *v, color&＃61;&＃39;b&＃39;, linewidth&＃61;2.5, head_width&＃61;0.30, head_length&＃61;0.35)

ax.arrow(res[0], res[1], *w, color&＃61;&＃39;c&＃39;, linewidth&＃61;2.5, head_width&＃61;0.30, head_length&＃61;0.35)

# Plots vector vv as green arrow starting at origin 0,0

ax.arrow(0, 0, *vv , color&＃61;&＃39;g&＃39;, linewidth&＃61;2.5, head_width&＃61;0.30, head_length&＃61;0.35)

ax.arrow(0, 0, *res, color&＃61;&＃39;r&＃39;, linewidth&＃61;2.5, head_width&＃61;0.30, head_length&＃61;0.35, linestyle&＃61;&＃39;dotted&＃39;,)

# 设置 x 坐标

plt.xlim(-1,12)

major_xticks &＃61; np.arange(-1, 12)

ax.set_xticks(major_xticks)

# 设置 y 轴坐标

plt.ylim(-1, 4)

major_yticks &＃61; np.arange(-1, 4)

ax.set_yticks(major_yticks)

plt.grid(b&＃61;True, which&＃61;&＃39;major&＃39;)

# Displays final plot

plt.show()

例题&＃xff0c;方程组求解&＃xff1a;

\begin{cases}

y &＃61; 2x &＃43; 1\\

y &＃61; 6x - 2

\end{cases}

用matplotlib绘制图表(图表样式不要求)

由上可知此方程组有且仅有一个解

需使用numpy(或自写算法)计算该解的结果,并用LaTeX公式表示出来(结果可以用小数或者分数展示)

\begin{cases}

x &＃61; \frac{3}{4} \\

y &＃61; \frac{5}{2}

\end{cases}

1.1.2

根据上面例题展示&＃xff0c;绘制方程组&＃xff0c;说明是否有解是否为唯一解&＃xff0c;若有解需计算出方程组的解

\begin{cases}

y &＃61; 2x &＃43; 1\\

y &＃61; \frac{1}{10}x&＃43;6

\end{cases}

# 1.1.2 TODO

def check_vector_span(set_of_vectors, vector_to_check):

# Creates an empty vector of correct size

vector_of_scalars &＃61; np.asarray([None]*set_of_vectors.shape[0])

# Solves for the scalars that make the equation true if vector is within the span

try:

# Use np.linalg.solve() function here to solve for vector_of_scalars

vector_of_scalars &＃61; np.linalg.solve(set_of_vectors, vector_to_check)

if not (vector_of_scalars is None):

print("\nVector is within span.\nScalars in s:", vector_of_scalars)

# Handles the cases when the vector is NOT within the span

except Exception as exception_type:

if str(exception_type) &＃61;&＃61; "Singular matrix":

print("\nNo single solution\nVector is NOT within span")

else:

print("\nUnexpected Exception Error:", exception_type)

return vector_of_scalars

vw &＃61; np.array([[2,-1],[1/10,-1]])

t &＃61; np.array([-1, -6])

print("\nMatrix vw:", vw, "\nVector t:", t, sep&＃61;"\n")

s &＃61; check_vector_span(vw,t)

# 两点确定一条直线

x &＃61; np.arange(0,10,0.1)

y1 &＃61; 2*x &＃43; 1

y2 &＃61; 0.1*x &＃43; 6

plt.plot(x, y1,&＃39;b&＃39;,linewidth&＃61;3)

plt.plot(x, y2,&＃39;c-.&＃39;,linewidth&＃61;3)

plt.plot(s[0],s[1],&＃39;ro&＃39;,linewidth&＃61;3)

plt.xlabel(&＃39;Single Solution&＃39;)

plt.text(6, 14.5, &＃39;y&＃61;2x&＃43;1&＃39;,fontsize &＃61; 15, rotation &＃61; 30)

plt.text(6, 5, &＃39;y&＃61;0.1x&＃43;6&＃39;,fontsize &＃61; 15, rotation &＃61; 0)

plt.show()

Matrix vw:

[[ 2. -1. ]

[ 0.1 -1. ]]

Vector t:

[-1 -6]

Vector is within span.

Scalars in s: [2.63157895 6.26315789]

# 由上图可知&＃xff0c;方程组有唯一解

1.2、说明题

1.2.1

使用numpy(或自写算法)说明$(AB)^{\text{T}} &＃61; B^\text{T}A^\text{T}$

其中

A&＃61;\begin{bmatrix}

21 & 7 \\

15 & 42 \\

9 & 6

\end{bmatrix},

B&＃61;\begin{bmatrix}

4 \\

\end{bmatrix}

# 1.2.1 TODO

A &＃61; np.array([[21,7],[15,42],[9,6]])

B &＃61; np.array([[4],[33]])

AB &＃61; np.matmul(A ,B)

ABT &＃61; AB.T

BT &＃61; B.T

AT &＃61; A.T

BTAT &＃61; np.matmul(BT, AT)

print(ABT)

print(BTAT)

print(ABT&＃61;&＃61;BTAT)

[[ 315 1446 234]]

[[ True True True]]

1.2.2

使用numpy(或自写算法)说明 $A ( B &＃43; C ) &＃61; AB &＃43; AC$

其中

A&＃61;\begin{bmatrix}

9 & 3 \\

8 & 4 \\

7 & 6

\end{bmatrix},

B&＃61;\begin{bmatrix}

5 \\

\end{bmatrix},

C&＃61;\begin{bmatrix}

5 \\

\end{bmatrix}

# 1.2.2 TODO

A &＃61; np.array([[9,3],[8,4],[7,6]])

B &＃61; np.array([[5],[2]])

C &＃61; np.array([[5],[7]])

# ABAC &＃61; A * (B &＃43; C)

ABAC &＃61; np.matmul(A, B&＃43;C)

print(ABAC)

AB &＃61; np.matmul(A, B)

AC &＃61; np.matmul(A, C)

print(AB)

print(AC)

ABAC_PLUS &＃61; AB &＃43; AC

print(ABAC_PLUS)

print(ABAC &＃61;&＃61; ABAC_PLUS)

[[117]

[116]

[124]]

[[51]

[48]

[47]]

[[66]

[68]

[77]]

[[117]

[116]

[124]]

[[ True]

[ True]

[ True]]

2、特殊矩阵

单位矩阵

如果选取任意一个向量和某矩阵相乘&＃xff0c;该向量都不会改变&＃xff0c;我们将这种保持n维向量不变的矩阵记为单位矩阵$I_n$

逆矩阵

如果存在一个矩阵&＃xff0c;使$A^{-1} A &＃61; I_n$&＃xff0c;那么$A^{-1}$就是A的逆矩阵。

对角矩阵

如果一个矩阵只有主对角线上还有非零元素&＃xff0c;其他位置都是零&＃xff0c;这个矩阵就是对角矩阵

对称矩阵

如果一个矩阵的转置是和它自己相等的矩阵&＃xff0c;即$A&＃61;A^{T}$&＃xff0c;那么这个矩阵就是对称矩阵

正交矩阵

行向量和列向量是分别标准正交(90度)的方阵&＃xff0c;即$A^{T}A &＃61; AA^{T} &＃61; I_n$&＃xff0c;又即$A^{-1} &＃61; A^{T}$&＃xff0c;那么这种方阵就是正交矩阵

2.1、证明题

通过LaTeX公式&＃xff0c;结合上面所述概念&＃xff0c;假设$A^{-1}$存在的情况下&＃xff0c;证明$Ax&＃61;b$的解$x&＃61;{A}^{-1}{b}$

回答&＃xff1a;

$A^{-1} A &＃61; I_n$

$A^{-1} &＃61; I_n / A$

$x &＃61; A^{-1}b &＃61; I_n / A b$

$A x &＃61; A (I_n / A b) &＃61; A I_n / A b &＃61; I_n b &＃61; b$

2.2、计算题

2.2.1

通过numpy计算&＃xff0c;再次验证2.1证明题

\begin{cases}

y &＃61; 2x &＃43; 1\\

y &＃61; \frac{1}{10}x&＃43;6

\end{cases}

并用LaTeX公式写出$A^{-1}$是多少(小数分数皆可)

# 2.2.1 TODO

# A &＃61; np.array([[2,-1],[1/10,-1]]) # 多维数组

# t &＃61; np.mat(&＃39;2 -1;0.1 -1&＃39;) # 这种写法也可以

t &＃61; np.mat([[2,-1],[0.1,-1]])

# type(t) # 打印&＃xff1a;numpy.matrixlib.defmatrix.matrix

print(t)

# b &＃61; np.array([-1, -6]) # numpy.ndarray 数组,数组类型如果使用b.I求逆矩阵会报错

# b &＃61; np.mat(&＃39;-1;-6&＃39;)

b &＃61; np.mat([[-1],[-6]])

# print(b)

# 通过逆矩阵求得答案

t.I*b

[[ 2. -1. ]

[ 0.1 -1. ]]

matrix([[2.63157895],

[6.26315789]])

# 通过方法求解

np.linalg.solve(t,b)

# 由以上返回的结果可得&＃xff0c;两者相等

matrix([[2.63157895],

[6.26315789]])

# 逆矩阵

t.I

matrix([[ 0.52631579, -0.52631579],

[ 0.05263158, -1.05263158]])

# t * t.I(矩阵乘以逆矩阵)

R &＃61; np.matmul(t, t.I)

print(R)

[[1. 0.]

[0. 1.]]

2.2.2

1、请用numpy(或自写算法)实现一个6x6的对角矩阵&＃xff0c;矩阵的对角线由3至8(含8)组成。

2、计算第一问生成的对角矩阵与向量$[6,7,1,2,5,9]^{T}$的乘积

# 2.2.2 TODO

x &＃61; np.arange(3,9)

# print(x)

# 单位矩阵是主对角线上全是 1&＃xff0c;其他位置全是 0 的方形矩阵。

n &＃61; np.eye(6)

diag6 &＃61; x * n

print(diag6)

#diag&＃61;np.diag(x)

[[3. 0. 0. 0. 0. 0.]

[0. 4. 0. 0. 0. 0.]

[0. 0. 5. 0. 0. 0.]

[0. 0. 0. 6. 0. 0.]

[0. 0. 0. 0. 7. 0.]

[0. 0. 0. 0. 0. 8.]]

v &＃61; np.array([6,7,1,2,5,9])

# print vt

VT &＃61; v.T

MT &＃61; np.matmul(diag6,VT)

print(MT)

[18. 28. 5. 12. 35. 72.]

3、迹运算

迹运算返回的是矩阵对角元素的和&＃xff0c;如图所示

写成数学公式为&＃xff1a;

$$ \large Tr(A) &＃61; \sum{i}A{i,i}$$

说明题&＃xff1a;

使用numpy验证

\large Tr(ABC) &＃61; Tr(CAB) &＃61; Tr(BCA)

其中

A&＃61;

\begin{bmatrix}

7 & 6 \\

29 & 3

\end{bmatrix}

B&＃61;

\begin{bmatrix}

2 & -8 \\

9 & 10

\end{bmatrix}

C&＃61;

\begin{bmatrix}

2 & 17 \\

1 & 5

\end{bmatrix}

# 3 TODO

A &＃61; np.array([[7,6],[29,3]])

B &＃61; np.array([[2,-8],[9,10]])

C &＃61; np.array([[2,17],[1,5]])

AB &＃61; np.matmul(A,B)

ABC &＃61; np.matmul(AB,C)

print(np.diag(ABC))

diagABC &＃61; np.diag(ABC).sum()

print(diagABC)

[140 435]

575

CA &＃61; np.matmul(C,A)

CAB &＃61; np.matmul(CA,B)

diagCAB &＃61; np.diag(CAB).sum()

BC &＃61; np.matmul(B,C)

BCA &＃61; np.matmul(BC,A)

diagBCA &＃61; np.diag(BCA).sum()

print(diagABC,diagCAB,diagBCA)

575 575 575

4、衡量向量以及矩阵的大小&＃xff1a;范数与条件数

范数的定义

在线性代数等数学分支中&＃xff0c;范数(Norm)是一个函数&＃xff0c;其给予某向量空间(或矩阵)中的每个向量以长度或称之为大小。对于零向量&＃xff0c;其长度为零。直观的说&＃xff0c;向量或矩阵的范数越大&＃xff0c;则我们可以说这个向量或矩阵也就越大。有时范数有很多更为常见的叫法&＃xff0c;如绝对值其实便是一维向量空间中实数或复数的范数&＃xff0c;范数的一般化定义&＃xff1a;设$p\ge 1$&＃xff0c;p-norm用以下来表示

$$ \large {\Vert x \Vert}{p} &＃61; \lgroup {\sum{i}{\vert x_i \vert}^p }\rgroup ^{\frac{1}{p}}$$

此处&＃xff0c;当p&＃61;1时&＃xff0c;我们称之曼哈顿范数(Manhattan Norm)。其来源是曼哈顿的出租车司机在四四方方的曼哈顿街道中从一点到另一点所需要走过的距离。也即我们所要讨论的L1范数。其表示某个向量中所有元素绝对值的和。而当p&＃61;2时&＃xff0c;则是我们最为常见的Euclidean norm。也称为Euclidean distance&＃xff0c;中文叫欧几里得范数&＃xff0c;也即我们要讨论的L2范数&＃xff0c;他也经常被用来衡量向量的大小。而当p&＃61;0时&＃xff0c;严格的说此时p已不算是范数了&＃xff0c;L0范数是指向量中非0的元素的个数&＃xff0c;但很多人仍然称之为L0范数(Zero norm零范数)。这三个范数有很多非常有意思的特征&＃xff0c;尤其是在机器学习中的正则化(Regularization)以及稀疏编码(Sparse Coding)有非常有趣的应用&＃xff0c;这个在进阶课程可以做更深入的了解。

L0 范数

$$ \large \Vert x \Vert &＃61; \sqrt[0]{\sum_i x_i^0} &＃61; #(i|xi \neq0) $$

L1 范数

$$ \large {\Vert x \Vert}{1} &＃61; \lgroup {\sum_{i}{\vert xi \vert} }\rgroup $$

L2 范数

$$ \large {\Vert x \Vert}{2} &＃61; \lgroup {\sum_{i}{\vert x_i \vert}^2 }\rgroup ^{\frac{1}{2}}$$

另外这里还存在特例&＃xff1a;

当 $ p -> \infty $ 时&＃xff0c;我们称之为 $ L^{\infty} $范数&＃xff0c;也被称为“maximum norm(max范数)”&＃xff0c;这个范数表示向量中具有最大幅度的元素的绝对值&＃xff1a;

$$ \large {\Vert x \Vert}^{\infty} &＃61; \max_{i}{\vert x_i \vert} $$

4.1、计算向量的范数

编写一个函数来计算一下向量的各种范数。

# TODO 实现这里向量范数计算的函数&＃xff0c;要求可以计算p &＃61; 0,1,2,3 ... 无穷情况下的范数

""" 计算向量的范数

参数

x: 向量 numpy数组或者list数组

p: 范数的阶&＃xff0c;int型整数或者None

infty: 是否计算max范数&＃xff0c;bool型变量&＃xff0c;True的时候表示计算max范数&＃xff0c;False的时候计算p范数

向量的范数&＃xff0c;float类型数值

hint:

1.你需要首先判断infty是True or False, 然后判断p 是否为零

2.注意int类型变量在计算时候需要规整为float类型

"""

def calc_Norm(x, p &＃61; 2, infty &＃61; False):

if infty &＃61;&＃61; False: #计算p范数

if p &＃61;&＃61; 0:

return np.nonzero(x)[0].size #非零元素个数

else:

# 使用 np.abs()将x中的元素取其绝对值&＃xff0c;内置函数power&＃xff0c;仅用于单个元素的次幂运算

return np.power(np.power(np.abs(x),p).sum(),1/p)

else:

return np.max(x) # x最大数

%run -i -e test.py LinearRegressionTestCase.test_calc_Norm

----------------------------------------------------------------------

Ran 1 test in 0.039s

4.2、计算矩阵的范数

我们也需要衡量矩阵的大小&＃xff0c;对于矩阵大小的衡量在很多优化问题中是非常重要的。而在深度学习中&＃xff0c;最常见的做法是使用Frobenius 范数(Frobenius norm)&＃xff0c;也称作矩阵的F范数&＃xff0c;其定义如下&＃xff1a;

$$ \large {\Vert A \Vert}{F} &＃61; \sqrt {\sum{i,j}{\vert A_{i,j} \vert}^2 } $$

我们这里继续来计算一下F范数

# TODO 实现这里矩阵Frobenius范数计算的函数

""" 计算向量的范数

参数

A: 给定的任意二维矩阵 list或者numpy数组形式

矩阵的Frobenius范数&＃xff0c;float类型数值

"""

def calc_Frobenius_Norm(A):

return np.power(np.power(np.abs(A),2).sum(), 1/2)

%run -i -e test.py LinearRegressionTestCase.test_calc_Frobenius_Norm

----------------------------------------------------------------------

Ran 1 test in 0.024s

4.3、计算矩阵的条件数

矩阵的条件数(condition number)是矩阵(或者它所描述的线性系统)的稳定性或者敏感度的度量&＃xff0c;我们这里为了简化条件&＃xff0c;这里只考虑矩阵是奇异矩阵的时候&＃xff0c;如何计算以及理解条件数(condition number):

当矩阵A为奇异矩阵的时候&＃xff0c;condition number为无限大&＃xff1b;当矩阵A非奇异的时候&＃xff0c;我们定义condition number如下&＃xff1a;

$$ \large \kappa{(A)} &＃61; {\Vert A \Vert}_F {\Vert A^{-1} \Vert}_F$$

计算矩阵的条件数

""" 计算矩阵的条件数

参数

A: 给定的任意二维矩阵 list或者numpy数组形式

矩阵的condition number,

"""

def calc_Condition_Number(A):

if np.linalg.det(A) !&＃61; 0:

# np.linalg.inv()&＃xff1a;矩阵求逆

# np.linalg.det()&＃xff1a;矩阵求行列式(标量)

return calc_Frobenius_Norm(A)*calc_Frobenius_Norm(np.linalg.inv(A))

else:

return float(&＃39;inf&＃39;)

%run -i -e test.py LinearRegressionTestCase.test_calc_Condition_Number

----------------------------------------------------------------------

Ran 1 test in 0.034s

(选做)4.4、条件数的理解与应用

a. 有如下两个2*2的非奇异矩阵A和B:

$ A &＃61; \begin{bmatrix}

1 &2 \

3 &4 \

\end{bmatrix} $

$ B &＃61; \begin{bmatrix}

1 &2 \

2 &4.0001 \

\end{bmatrix}

计算condition number(A), condition number(B);

b. 根据上面构造的矩阵A,B分别计算线性系统方程组的解$w$:

A $ \begin{bmatrix}w{a1}\w{a2}\ \end{bmatrix} $ &＃61; $ \begin{bmatrix}1\2\ \end{bmatrix} $,

B $ \begin{bmatrix}w{b1}\w{b2}\ \end{bmatrix} $ &＃61; $ \begin{bmatrix}1\2\ \end{bmatrix} $,

A $ \begin{bmatrix}w{a1}\w{a2}\ \end{bmatrix} $ &＃61; $ \begin{bmatrix}{1.0001}\{2.0001}\ \end{bmatrix} $,

B $ \begin{bmatrix}w{b1}\w{b2}\ \end{bmatrix} $ &＃61; $ \begin{bmatrix}{1.0001}\{2.0001}\ \end{bmatrix} $.

c. 计算完成之后&＃xff0c;比较condition number大小与线性系统稳定性之间的关系&＃xff0c;并且给出规律性的总结&＃xff1b;

d. 阅读与思考: 考虑更为通用的一种情况&＃xff0c;我们计算一个典型的线性回归系统:

$$ Xw &＃61; b $$

可以简单推导得出其闭式解为&＃xff1a;$ w&＃61;(X^TX)^{−1}X^Tb $ &＃xff0c;如果 $X^TX$可逆

推导过程&＃xff1a;

1.等式两边乘以$X^T$

$$ X^TXw &＃61; X^Tb $$

2.等式两边乘以$(X^TX)^{-1}$

$$ (X^TX)^{-1}X^TXw &＃61; (X^TX)^{−1}X^Tb $$

3.因为$A^{-1}A &＃61; I$&＃xff0c;两边约去即可得&＃xff1a;

$$ w&＃61;(X^TX)^{−1}X^Tb $$

当我们需要拟合的数据X满足数据量远远小于特征数目的时候&＃xff0c;也就是X矩阵的行数 <

hint1. 单位矩阵的condition number是最低的&＃xff0c;是最为稳定的&＃xff1b;

hint2. 如果要使得该系统存在闭式解&＃xff0c;那么就必须使得求逆运算是可以进行的&＃xff0c;也就是说重新构造的$X^TX$必须是可逆的方阵&＃xff1b;

hint3. 重新构造的方式可以是在$X^TX$基础上进行加或者减或者乘除相关矩阵的操作&＃xff1b;

一种可行的方式就是&＃xff1a;

$$ w &＃61; (X^TX&＃43;\lambda I)^{−1}X^Tb $$

实际上我们最为常用的Ridge Regression和 L2范数以及condition number之间某种程度上是可以相互推导的&＃xff1a;

首先&＃xff0c;Ridge Regression的损失函数为&＃xff1a;

$$ J_w &＃61; min({\Vert Xw -y \Vert}^2 &＃43; \alpha {\Vert w \Vert}^2) $$

我们展开这个损失函数&＃xff1a;

$$ {\Vert Xw -y \Vert}^2 &＃43; \alpha {\Vert w \Vert}^2 &＃61; (Xw -y)^T (Xw-y) &＃43; \alpha w^Tw$$

由于这里是一个凸函数&＃xff0c;我们令导数等于零&＃xff0c;即为最小值的解&＃xff0c;求导可得&＃xff1a;

$$ X^T (Xw-y) &＃43; \alpha w &＃61; 0 $$

整理即可得到&＃xff1a;

$$ w &＃61; (X^TX&＃43;\lambda I)^{−1}X^Tb $$

5、SVD

SVD是Singular value decomposition的缩写&＃xff0c;称为奇异值分解&＃xff0c;是分解矩阵的一种方式&＃xff0c;会将矩阵分解为奇异向量(singular vector)和奇异值(singular value)&＃xff0c;分解的意义其实很明确&＃xff0c;就是想将一个很大很复杂的矩阵&＃xff0c;用更小更简单的几个子矩阵的相乘来表示&＃xff0c;这些小矩阵描述的是矩阵的重要的特性。

那么SVD具体的数学表达是什么呢&＃xff1f;

假设有一个矩阵C&＃xff0c;我们可以将矩阵C分解为三个矩阵的乘积&＃xff1a;

$$\large C &＃61; UDV^{T}$$

如果C是一个m x n的矩阵&＃xff0c;那么U是一个m x m的矩阵&＃xff0c;D是一个m x n的矩阵&＃xff0c;V是一个n x n的矩阵&＃xff0c;这些小矩阵并不是普普通通的矩阵&＃xff0c;U和V都定义为正交矩阵&＃xff0c;而D定义为对角矩阵。

SVD最常用的做法就是用来进行特征的降维以及矩阵的低秩重构&＃xff0c;例如这里分别取矩阵U、D、VT的前k列&＃xff0c;如图示中的白色部分&＃xff0c;然后重新计算新的C矩阵&＃xff0c;即为k维度下的矩阵重构&＃xff0c;这种方法被广泛应用于自然语言处理LSA、推荐系统SVD&＃43;&＃43;,FM,FFM等领域&＃xff0c;如有兴趣可以继续参考链接相关资料。

具体计算UDV的算法不是我们这个项目的关键&＃xff0c;我们只需使用numpy得出结果即可&＃xff0c;下面的习题&＃xff0c;将会带你体会SVD的某一应用场景。

提示&＃xff1a;我们会需要使用numpy.linalg相关函数。

5.1、使用numpy去计算任意矩阵的奇异值分解&＃xff1a;

""" 计算任意矩阵的奇异值分解

参数

A: 给定的任意二维矩阵 list或者numpy数组形式

使用numpy.linalg相关函数&＃xff0c;直接返回分解之后的矩阵U,D,V

(可以尝试一下使用np.shape一下分解出来的U&＃xff0c;D&＃xff0c;VT&＃xff0c;会发现维度跟我们上面讲解所描述的不同&＃xff0c;

暂时不用管他直接返回np求解出的U&＃xff0c;D&＃xff0c;VT即可)

"""

def calc_svd(A):

U, D, V &＃61; np.linalg.svd(A)

return U, D, V

%run -i -e test.py LinearRegressionTestCase.test_calc_svd

----------------------------------------------------------------------

Ran 1 test in 0.708s

(选做) 5.2、利用奇异值分解对矩阵进行降维

# TODO 利用SVD进行对于矩阵进行降维

""" 利用SVD进行对于矩阵进行降维

参数

A: 给定的任意二维矩阵 list或者numpy数组形式 shape为(m,n)

topk: 降维的维度 (m,n) -> (m,topk)

降维后的矩阵 (m, topk)

hint

1. 对角矩阵D存在一个较为明显的特性&＃xff0c;就是D的对角线元素是递减的&＃xff0c;这些元素实际上是衡量了所分解的矩阵U,V的列向量的重要性

2. 因此我们常说的svd降维就是利用选取的前topk大的对角线矩阵元素进行构造新的降维矩阵

3. U的按照前topk截取的列向量 * topk截取的对角矩阵即为新的降维后的矩阵

"""

def calc_svd_decompostion(A, topk &＃61; 2):

U, D, V &＃61; np.linalg.svd(A)

return np.matmul(U[:,:topk],(D*np.eye(len(D)))[:topk,:topk])

%run -i -e test.py LinearRegressionTestCase.test_calc_svd_decompostion

(选做) 5.3、利用奇异值分解对矩阵进行降维后重构

""" 利用SVD进行对于矩阵进行降维

参数

A: 给定的任意二维矩阵 list或者numpy数组形式 shape为(m,n)

topk: 降维的维度 (m,n) -> (m,topk)

降维重构后的矩阵 (m, n)

hint

这里除了降维矩阵外&＃xff0c;另外一个较为常见的应用就是对矩阵进行重构&＃xff0c;具体的做法类似前面的思路

1. 选取对应的U&＃xff0c;D&＃xff0c;V的topk向量

2. U的按照前topk截取的列向量 * topk截取的对角矩阵 * V^T按照前topk截取的行向量(注意这里是V的转置,因为分解得到的是V^T)

"""

def calc_svd_reconsitution(A, topk &＃61; 2):

U, D, V &＃61; np.linalg.svd(A)

return np.matmul(calc_svd_decompostion(A, topk),V[:topk,:])

%run -i -e test.py LinearRegressionTestCase.test_calc_svd_reconsitution

----------------------------------------------------------------------

Ran 1 test in 0.316s

(选做) 5.4、计算不同降维大小重构矩阵的Frobenius范数损失

定义矩阵$A$以及使用SVD降维(降维大小为k)分解后的重构矩阵$A_k$&＃xff0c;则这里的F范数损失定义如下&＃xff1a;

$$ \Large Loss_{F} &＃61; {\Vert A - A_k \Vert}_F $$

这里需要编码求出对于给定的矩阵A 分别在不同的降维幅度下重构后的F范数损失&＃xff0c;并且作出损失大小随着降维大小的变化图&＃xff1a;

## 不要修改这里&＃xff01;

import numpy as np

from sklearn.datasets import load_boston

import matplotlib.pyplot as plt

%matplotlib inline

A &＃61; load_boston()[&＃39;data&＃39;] # 载入boston house 数据集

print(A.shape)

(506, 13)

loss_hist &＃61; []

for topk in range(1,13):

# 5.4 TODO

### 1.计算相应的SVD topk降维后的重构矩阵&＃xff0c;需实现calc_svd_reconsitution

Ak &＃61; calc_svd_reconsitution(A, topk)

### 2.计算对应的F范数损失&＃xff0c;并存储loss放入loss_hist列表中

loss &＃61; calc_Frobenius_Norm(A-Ak)

loss_hist.append(loss)

### 画出F损失随着降维大小的变化图

### x坐标为对应的降维大小&＃xff0c;y坐标为对应的F损失

plt.plot(range(1,13),loss_hist,&＃39;r--&＃39;)

plt.xlabel(&＃39;decomposition size&＃39;)

plt.ylabel(&＃39;F Loss&＃39;)

Text(0,0.5,&＃39;F Loss&＃39;)

5.5、SVD的有趣应用

为了这个习题我准备了两张图&＃xff0c;参见项目文件夹下的test_girl.jpg和test_boy.jpeg?s=#xff0c;自选一张&＃xff0c;你需要

需要使用 PIL 加载你所选择的图像(文档),所以记得导入需要的包(模块)

使用Image的convert方法将图像变为灰度图

将convert后的结果转换成np.array,需用到Image.getdata方法来读取图片每个pixel的数据&＃xff0c;特别注意一下&＃xff0c;对于彩色的图来说&＃xff0c;即使我们转为了灰度图&＃xff0c;但每一个pixel还是由RGB三个维度组成&＃xff0c;所以在getdata时&＃xff0c;band需要设定为某一个颜色index&＃xff0c;比如band &＃61; 0&＃xff0c;这样只用R这个维度的数据。用这个方法来保证图片的每个pixel只占有一个单元的空间。

因为我们转np.array时破坏了原有图形的样子&＃xff0c;变成了一个一维数据&＃xff0c;我们要将转换后的np.array恢复到图片应有的size&＃xff0c;转换后&＃xff0c;可以shape确认下是否与最开始转出的灰度图的size一致&＃xff0c;注意图的size是(宽&＃xff0c;高)&＃xff0c;而宽对应array.shape的应该是列&＃xff0c;而高对应的是行&＃xff0c;别弄反了。

使用上方实现的calc_svd函数计算上一步计算出的np.array数据&＃xff0c;赋值给变量&＃xff1a;U,D,VT

打印出U,D,VT的shape形状&＃xff0c;尤其注意观察D的shape

在U&＃xff0c;VT&＃xff0c;D变量成功实现的情况下&＃xff0c;运行测试程序看效果

# 5.5 TODO

#请在U&＃xff0c;D&＃xff0c;V变量完成的情况下调用此测试程序&＃xff0c;不要修改此处

plt.figure(figsize&＃61;(16,6))

for i,topk in enumerate([5, 10, 15, 20, 30, 50]):

reconstimg &＃61; np.matrix(U[:, :topk]) * np.diag(D[:topk]) * np.matrix(VT[:topk, :])

plt.subplot(231&＃43;i)

plt.imshow(reconstimg, cmap&＃61;&＃39;gray&＃39;)

title &＃61; "n &＃61; %s" % ((i&＃43;1)*5)

plt.title(title)