gram矩阵_机器学习数学矩阵

我们从线性代数在开始第1部分和第2部分。我们了解了向量和矩阵&＃xff0c;以及它们如何在机器学习中提供帮助。让我们从剩下的地方开始讨论&＃xff0c;并涵盖机器学习数学第3部分中有关矩阵的一些剩余详细信息。

逆矩阵&＃xff1a;

我们将从该系列的前2部分讨论的问题开始机器学习数学的第3部分。苹果和香蕉的问题&＃xff0c;最终将设法找到解决方案。

假设我第一次去商店时花8元买了2个苹果和1个香蕉。在另一次访问中&＃xff0c;我以13元买了10个苹果和1个香蕉。

我们将其记为矩阵乘以向量。我们将矩阵称为A&＃xff0c;将输入向量称为r&＃xff0c;将输出向量称为S。

现在&＃xff0c;考虑矩阵A -1。当我们将此矩阵与原始矩阵A相乘时&＃xff0c;它将得到一个单位矩阵。这是矩阵A的逆。A -1颠倒A并给出一个单位矩阵。

因此&＃xff0c;如果我们得到矩阵的逆&＃xff0c;我们可以得到向量a&＃xff0c;b的值&＃xff0c;最后解决香蕉和苹果问题。

现在&＃xff0c;让我们继续学习身份矩阵。

我们实际上可以通过替代解决此问题。请看下面的例子。

这表明c &＃61; 2。另外&＃xff0c;请注意&＃xff0c;现在我们得到了一个特殊的矩阵&＃xff0c;该矩阵的所有零均位于对角线以下。从这里开始&＃xff0c;我们可以采用替代方法来进一步解决我们的问题。

现在&＃xff0c;从上面两行中减去第3行&＃xff0c;即c值。第一行取c的3倍&＃xff0c;第二行取c的一个。

我们终于得到了解决方案。1个苹果5元&＃xff0c;1个香蕉4元和1个胡萝卜2元。

因此&＃xff0c;我们从消除开始&＃xff0c;然后进行反向替换以得到解决方案。

这里要注意的一件事是&＃xff0c;我们实际上已经将矩阵最后更改为一个单位矩阵&＃xff0c;以得到解。这使我们回到开始讨论的矩阵逆矩阵。

让我们找出如何找到任何矩阵的广义解&＃xff0c;以及如何将消除应用于通过矩阵逆求解问题。

考虑&＃xff0c;我们有一个3×3矩阵A&＃xff0c;它是逆B&＃xff0c;它们相乘在一起就得到一个恒等矩阵I。

现在&＃xff0c;将矩阵A与矩阵B的第一列相乘将得出恒等矩阵的第一列或向量。类似地&＃xff0c;矩阵A与B的第二矢量或列的相乘将得到单位矩阵的第二列&＃xff0c;B与A的第三列相乘将得到单位矩阵的第三列。

现在&＃xff0c;尝试立即执行此操作&＃xff01;通过在矩阵的第二行和第三行取第一行。

这将给出&＃xff1a;

如您所见&＃xff0c;我们已经将A修改为单位矩阵(仅通过消除和反向替换)&＃xff0c;而我实际上是A -1的答案。或矩阵B。

因此&＃xff0c;我们得出结论&＃xff0c;将A乘以A逆将得到一个恒等矩阵。

您可能之前已经以其他方式做到了。但是在这里&＃xff0c;我们以一种通用且计算速度更快的方式解决了它。特别是如果我们要处理更大的尺寸。广义上来说&＃xff0c;它不取决于右侧的矩阵。

行列式和倒数&＃xff1a;

现在&＃xff0c;让我们看看称为行列式的矩阵的属性。

考虑矩阵

我们所做的是&＃xff0c;已将轴水平缩放为因子a&＃xff0c;垂直缩放为因子d。正方形多少会缩放为矩形。实际上&＃xff0c;所有空间都按因子广告缩放。我们可以说这是变换矩阵的行列式。如果我们采用另一个矩阵

现在&＃xff0c;正方形变为平行四边形&＃xff0c;但是比例因子仍然是ad。平行四边形的面积。基数乘以高度。

如果我们有一个通用矩阵&＃xff0c;

现在让我们找到此平行四边形的面积。参见下图。验证是否喜欢&＃xff0c;但区域为ad-bc。

以前&＃xff0c;您可能像这样计算矩阵的逆&＃xff1a;

这告诉我们&＃xff0c;将A与A的逆数相乘得到一个单位矩阵。因此&＃xff0c;您一直做对了&＃xff01;

因此&＃xff0c;行列式是我们需要将逆矩阵除以什么&＃xff0c;以使逆矩阵正确地成为逆矩阵。

现在&＃xff0c;我们如何计算矩阵的这些行列式值&＃xff1f;如今&＃xff0c;我们实际上不需要学习计算步骤。MATLAB和Python库将为您完成此任务。但是&＃xff0c;如果您真的想学习&＃xff0c;则可以考虑QR分解。

继续看下面的矩阵&＃xff0c;

它们沿着同一条线延伸&＃xff0c;实际上是彼此的倍数&＃xff0c;不是线性独立的。同样&＃xff0c;它将给出行列式为0&＃xff0c;| A |&＃61;0。3×3向量也是如此&＃xff0c;其中新的基本向量是其他两个的倍数。封闭或行列式的面积将再次为0。

现在&＃xff0c;让我们继续讲Val Echelon form。考虑下面的一组联立方程&＃xff0c;

我们可以在这里看到第3行实际上是row1和row2的总和。同样&＃xff0c;第3列是第1列&＃43;第2列的两倍。这意味着此转换向量没有描述3个独立向量。一个是线性独立于其他两个。因此&＃xff0c;它描述了二维空间。现在让我们看看如果尝试将其简化为Val梯形形式会发生什么。从第二行取第一行&＃xff0c;从第三行取第一行和第二行的和。

这使c等于0。表明我们没有太多信息来求解联立方程。

我们已经证明的是&＃xff0c;如果描述矩阵的基向量不是线性独立的&＃xff0c;则行列式为0。这还表明&＃xff0c;如果我们折叠空间的尺寸&＃xff0c;则将付出一定的代价。在这里&＃xff0c;我们无法找到逆&＃xff0c;实际上可以使我们撤消变换矩阵并将其引向原始向量。

因此&＃xff0c;事先检查我们提议作为矩阵变换的新基础向量的向量是线性独立的&＃xff0c;以便稍后可以撤消变换。

到目前为止&＃xff0c;我们已经了解了什么是决定因素以及它如何增长空间。同样&＃xff0c;我们已经看到行列式为0的特殊情况&＃xff0c;这意味着基向量不是线性独立的&＃xff0c;这又意味着不存在逆。

爱因斯坦求和矩阵&＃xff1a;

写矩阵变换的另一种方法是爱因斯坦求和矩阵。它记录了矩阵各组成部分的实际操作&＃xff0c;对编码工作很有用。

我们知道矩阵乘法如下。考虑一个nxn阶的矩阵A与另一个nxn阶的矩阵B相乘得到矩阵AB&＃xff1a;

这使我们的编码更加容易。只需运行三个循环并累积即可获得AB。T在计算上很有效&＃xff0c;但不是很直观。

因此&＃xff0c;只要矩阵在j中具有相同数量的条目&＃xff0c;我们就可以将它们相乘。

3 x 3矩阵乘以3 x 4矩阵。通常所有非方阵。

现在&＃xff0c;让我们根据爱因斯坦求和法重新讨论点积。

如果我们有两个列向量u和v。

让我们详细看一下点积和矩阵乘法之间的等价关系。

让我们看看点乘积e1和u会发生什么。那是u在e1上的投影。然后e1在u上的投影。然后我们可以有趣地通过投影相交处的对称线。这种对称性表明u在e1上的投影与e1在u1上的投影相同。这可以在点积中看到。将u与e1乘以点或将其翻转将给出相同的答案。现在从几何上看&＃xff0c;为什么。

对于其他轴e2或任何其他轴也可以证明这一点。因此&＃xff0c;点积就像投影一样对称&＃xff0c;这就是矩阵乘法和投影之间的联系。

正交矩阵&＃xff1a;

首先让我们介绍矩阵转置的概念。为了换位&＃xff0c;我们互换矩阵的所有行和列。

A t ij &＃61; A ji

考虑尺寸为n×n的方阵A。它定义了一个变换矩阵&＃xff0c;其中基础向量彼此正交并且具有单位长度。

如果i不等于j&＃xff0c;ai.aj &＃61; 0

如果i等于j&＃xff0c;ai.aj &＃61; 1

让我们看看如果将矩阵A与其转置相乘会发生什么。

我们得到一个身份矩阵&＃xff01;

A t A &＃61;我

这意味着A转置是矩阵A的有效逆。

相互垂直的一组单位长度向量称为正交基集。由它们组成的矩阵是正交矩阵。

这也意味着&＃xff0c;由于正交矩阵由单位长度的基础向量组成&＃xff0c;因此它会按比例缩放空间。然后行列式为1或-1。向量反转或翻转时为-1。

在数据科学中&＃xff0c;当我们要转换数据时&＃xff0c;将尽可能使用正交向量的基础向量。那就是我们的变换矩阵将是正交的。反过来&＃xff0c;这意味着逆计算很容易。逆向转换很容易&＃xff0c;因为它不会使空间崩溃。投影仅仅是点积。行列式是1或减1。很多事情都整齐又简单。因此&＃xff0c;从转置开始&＃xff0c;我们发现了最方便的基础向量集&＃xff0c;它是形成正交矩阵的正交基础向量集&＃xff01;

Gram-Schmidt过程&＃xff1a;

让我们继续学习机器学习数学第3部分&＃xff0c;了解如何构建和使用正交基向量集。

假设我们有一个跨越空间的线性独立向量。

假设我们有一组向量v跨越我们的空间。

v &＃61; {v1&＃xff0c;v2&＃xff0c;v3&＃xff0c;…&＃xff0c;vn}

取第一个向量并将其标准化&＃xff0c;这样我们的第一个基本向量e为

因此&＃xff0c;e1只是v1的规范化版本。

对于v2&＃xff0c;我们可以看到v2在e1方向上具有一个分量。因此&＃xff0c;如果我们在e1上投影v2&＃xff0c;我们将得到&＃xff0c;

V2 &＃61;(v2.e1)e1 &＃43; u2

要么&＃xff0c;

u2 &＃61; v2 –(v2.e1)e1

规范化u2将给

那是计算正交基础的第一部分。

现在&＃xff0c;第三个向量v3不是v1和v2的线性组合&＃xff0c;并且不在向量v1和v2定义的平面内。

我们可以将v3向下投影到e2和e1的平面中。该投影将是由e1和e2组成的平面中的某些矢量。

u3 &＃61; v3 –(v3.e1)e1 –(v3.e2)e2

其中(v3.e1)e1是由e1s构成的v3的组件&＃xff0c;而(v3.e2)e2是由e2s构成的v3的组件。

u3是另一个垂直于飞机的人。对u3进行归一化&＃xff0c;

我们可以继续这样做&＃xff0c;直到我们计算出跨越空间的所有正交基向量。

通过这种方式&＃xff0c;w将非正交&＃xff0c;非单位向量转换为单位长度好的正交向量的集合&＃xff0c;从而形成了一组正交法向量。

这就是我们构造正交基向量集并使生活更轻松的方式&＃xff01;

应用&＃xff1a;

现在&＃xff0c;让我们将在机器学习数学第3部分中获得的知识放到一个示例中&＃xff0c;看看它是否真的使我们的生活更轻松。

我们要做的是反射一架飞机。如果我们在一些不同的平面上进行反射&＃xff0c;矢量就是这样。换句话说&＃xff0c;如果镜子以某种滑稽的角度出现&＃xff0c;猫在镜子中的反射对我来说会是什么样子。

假设我在镜面上知道2个向量。第三个向量在镜平面之外。

现在&＃xff0c;定义新的转换矩阵E

现在考虑一个向量r&＃xff0c;我们想要通过正交向量的平面向下反射到r&＃39;。

这里有趣的是向量r将由一些向量e1和与其垂直的一些向量e3组成。向下的位只是e3的负数。

以e为底的转换矩阵将由e1&＃xff0c;e2和e3的负数组成&＃xff0c;

这是在平面上的反射。

因此&＃xff0c;如果我们在平面的基础向量中获得了这里为基础E的向量&＃xff0c;则可以进行反射。然后&＃xff0c;我们可以将其放回基本向量集中&＃xff0c;以获得完整的变换。

将r转换为r&＃39;实际上遵循以下步骤

这将我们的问题简化为矩阵乘法。我们将所有值都进行计算&＃xff01;

您可以在这里看到&＃xff0c;一旦考虑了反射镜的平面和垂直于反射镜的平面&＃xff0c;就很难通过三角函数解决一个问题。

总结一下&＃xff0c;我们看到了关于向量和矩阵的所有有趣的应用&＃xff0c;它们反映了空间中的一个点。

我们可以找到它在神经网络中的直接应用&＃xff0c;在神经网络中&＃xff0c;我们可能希望对面部识别进行一些思考&＃xff0c;