开发笔记:这可能是我见过最好的NumPy图解教程！

NumPy是Python中用于数据分析、机器学习、科学计算的重要软件包。它极大地简化了向量和矩阵的操作及处理。python的不少数据处理软件包依赖于NumPy作为其基础架构的核心部分&＃xff08;例如scikit-learn、SciPy、pandas和tensorflow&＃xff09;。除了数据切片和数据切块的功能之外&＃xff0c;掌握numpy也使得开发者在使用各数据处理库调试和处理复杂用例时更具优势。

在本文中&＃xff0c;将介绍NumPy的主要用法&＃xff0c;以及它如何呈现不同类型的数据&＃xff08;表格&＃xff0c;图像&＃xff0c;文本等&＃xff09;&＃xff0c;这些经Numpy处理后的数据将成为机器学习模型的输入。

NumPy中的数组操作

创建数组

我们可以通过将python列表传入np.array()来创建一个NumPy数组&＃xff08;也就是强大的ndarray&＃xff09;。在下面的例子里&＃xff0c;创建出的数组如右边所示&＃xff0c;通常情况下&＃xff0c;我们希望NumPy为我们初始化数组的值&＃xff0c;为此NumPy提供了诸如ones()&＃xff0c;zeros()和random.random()之类的方法。我们只需传入元素个数即可&＃xff1a;

一旦我们创建了数组&＃xff0c;我们就可以用其做点有趣的应用了&＃xff0c;文摘菌将在下文展开说明。

数组的算术运算

让我们创建两个NumPy数组&＃xff0c;分别称作data和ones&＃xff1a;

若要计算两个数组的加法&＃xff0c;只需简单地敲入data &＃43; ones&＃xff0c;就可以实现对应位置上的数据相加的操作&＃xff08;即每行数据进行相加&＃xff09;&＃xff0c;这种操作比循环读取数组的方法代码实现更加简洁。

当然&＃xff0c;在此基础上举一反三&＃xff0c;也可以实现减法、乘法和除法等操作&＃xff1a;

许多情况下&＃xff0c;我们希望进行数组和单个数值的操作&＃xff08;也称作向量和标量之间的操作&＃xff09;。比如&＃xff1a;如果数组表示的是以英里为单位的距离&＃xff0c;我们的目标是将其转换为公里数。可以简单的写作data * 1.6&＃xff1a;

NumPy通过数组广播&＃xff08;broadcasting&＃xff09;知道这种操作需要和数组的每个元素相乘。

数组的切片操作

我们可以像python列表操作那样对NumPy数组进行索引和切片&＃xff0c;如下图所示&＃xff1a;

聚合函数

NumPy为我们带来的便利还有聚合函数&＃xff0c;聚合函数可以将数据进行压缩&＃xff0c;统计数组中的一些特征值&＃xff1a;

除了min&＃xff0c;max和sum等函数&＃xff0c;还有mean&＃xff08;均值&＃xff09;&＃xff0c;prod&＃xff08;数据乘法&＃xff09;计算所有元素的乘积&＃xff0c;std&＃xff08;标准差&＃xff09;&＃xff0c;等等。上面的所有例子都在一个维度上处理向量。除此之外&＃xff0c;NumPy之美的一个关键之处是它能够将之前所看到的所有函数应用到任意维度上。

NumPy中的矩阵操作

创建矩阵

我们可以通过将二维列表传给Numpy来创建矩阵。

np.array([[1,2],[3,4]])

除此外&＃xff0c;也可以使用上文提到的ones()、zeros()和random.random()来创建矩阵&＃xff0c;只需传入一个元组来描述矩阵的维度&＃xff1a;

矩阵的算术运算

对于大小相同的两个矩阵&＃xff0c;我们可以使用算术运算符&＃xff08;&＃43;-*/&＃xff09;将其相加或者相乘。NumPy对这类运算采用对应位置&＃xff08;position-wise&＃xff09;操作处理&＃xff1a;

对于不同大小的矩阵&＃xff0c;只有两个矩阵的维度同为1时&＃xff08;例如矩阵只有一列或一行&＃xff09;&＃xff0c;我们才能进行这些算术运算&＃xff0c;在这种情况下&＃xff0c;NumPy使用广播规则&＃xff08;broadcast&＃xff09;进行操作处理&＃xff1a;

与算术运算有很大区别是使用点积的矩阵乘法。NumPy提供了dot()方法&＃xff0c;可用于矩阵之间进行点积运算&＃xff1a;

上图的底部添加了矩阵尺寸&＃xff0c;以强调运算的两个矩阵在列和行必须相等。可以将此操作图解为如下所示&＃xff1a;

矩阵的切片和聚合

索引和切片功能在操作矩阵时变得更加有用。可以在不同维度上使用索引操作来对数据进行切片。

我们可以像聚合向量一样聚合矩阵&＃xff1a;

不仅可以聚合矩阵中的所有值&＃xff0c;还可以使用axis参数指定行和列的聚合&＃xff1a;

矩阵的转置和重构

处理矩阵时经常需要对矩阵进行转置操作&＃xff0c;常见的情况如计算两个矩阵的点积。NumPy数组的属性T可用于获取矩阵的转置。

在较为复杂的用例中&＃xff0c;你可能会发现自己需要改变某个矩阵的维度。这在机器学习应用中很常见&＃xff0c;例如模型的输入矩阵形状与数据集不同&＃xff0c;可以使用NumPy的reshape()方法。只需将矩阵所需的新维度传入即可。也可以传入-1&＃xff0c;NumPy可以根据你的矩阵推断出正确的维度&＃xff1a;

上文中的所有功能都适用于多维数据&＃xff0c;其中心数据结构称为ndarray&＃xff08;N维数组&＃xff09;。

很多时候&＃xff0c;改变维度只需在NumPy函数的参数中添加一个逗号&＃xff0c;如下图所示&＃xff1a;

NumPy中的公式应用示例

NumPy的关键用例是实现适用于矩阵和向量的数学公式。这也Python中常用NumPy的原因。例如&＃xff0c;均方误差是监督机器学习模型处理回归问题的核心&＃xff1a;

在NumPy中可以很容易地实现均方误差&＃xff1a;

这样做的好处是&＃xff0c;numpy无需考虑predictions与labels具体包含的值。文摘菌将通过一个示例来逐步执行上面代码行中的四个操作&＃xff1a;

预测&＃xff08;predictions&＃xff09;和标签&＃xff08;labels&＃xff09;向量都包含三个值。这意味着n的值为3。在我们执行减法后&＃xff0c;我们最终得到如下值&＃xff1a;

然后我们可以计算向量中各值的平方&＃xff1a;

现在我们对这些值求和&＃xff1a;

最终得到该预测的误差值和模型质量分数。

用NumPy表示日常数据

日常接触到的数据类型&＃xff0c;如电子表格&＃xff0c;图像&＃xff0c;音频......等&＃xff0c;如何表示呢&＃xff1f;Numpy可以解决这个问题。

表和电子表格

电子表格或数据表都是二维矩阵。电子表格中的每个工作表都可以是自己的变量。python中类似的结构是pandas数据帧&＃xff08;dataframe&＃xff09;&＃xff0c;它实际上使用NumPy来构建的。

音频和时间序列

音频文件是一维样本数组。每个样本都是代表一小段音频信号的数字。CD质量的音频每秒可能有44,100个采样样本&＃xff0c;每个样本是一个-65535到65536之间的整数。这意味着如果你有一个10秒的CD质量的WAVE文件&＃xff0c;你可以将它加载到长度为10 * 44,100 &＃61; 441,000个样本的NumPy数组中。想要提取音频的第一秒&＃xff1f;只需将文件加载到我们称之为audio的NumPy数组中&＃xff0c;然后截取audio[:44100]。

以下是一段音频文件&＃xff1a;

时间序列数据也是如此&＃xff08;例如&＃xff0c;股票价格随时间变化的序列&＃xff09;。

图像

图像是大小为&＃xff08;高度×宽度&＃xff09;的像素矩阵。如果图像是黑白图像&＃xff08;也称为灰度图像&＃xff09;&＃xff0c;则每个像素可以由单个数字表示&＃xff08;通常在0&＃xff08;黑色&＃xff09;和255&＃xff08;白色&＃xff09;之间&＃xff09;。如果对图像做处理&＃xff0c;裁剪图像的左上角10 x 10大小的一块像素区域&＃xff0c;用NumPy中的image[:10,:10]就可以实现。

这是一个图像文件的片段&＃xff1a;

如果图像是彩色的&＃xff0c;则每个像素由三个数字表示 &＃xff1a;红色&＃xff0c;绿色和蓝色。在这种情况下&＃xff0c;我们需要第三维&＃xff08;因为每个单元格只能包含一个数字&＃xff09;。因此彩色图像由尺寸为(高x宽x 3&＃xff09;的ndarray表示。

语言

如果我们处理文本&＃xff0c;情况就会有所不同。用数字表示文本需要两个步骤&＃xff0c;构建词汇表&＃xff08;模型知道的所有唯一单词的清单&＃xff09;和嵌入&＃xff08;embedding&＃xff09;。让我们看看用数字表示这个&＃xff08;翻译的&＃xff09;古语引用的步骤&＃xff1a;“Have the bards who preceded me left any theme unsung?”

模型需要先训练大量文本才能用数字表示这位战场诗人的诗句。我们可以让模型处理一个小数据集&＃xff0c;并使用这个数据集来构建一个词汇表&＃xff08;71,290个单词&＃xff09;&＃xff1a;

然后可以将句子划分成一系列“词”token&＃xff08;基于通用规则的单词或单词部分&＃xff09;&＃xff1a;

然后我们用词汇表中的id替换每个单词&＃xff1a;

这些ID仍然不能为模型提供有价值的信息。因此&＃xff0c;在将一系列单词送入模型之前&＃xff0c;需要使用嵌入&＃xff08;embedding&＃xff09;来替换token/单词&＃xff08;在本例子中使用50维度的word2vec嵌入)&＃xff1a;

你可以看到此NumPy数组的维度为[embedding_dimension x sequence_length]。

在实践中&＃xff0c;这些数值不一定是这样的&＃xff0c;但我以这种方式呈现它是为了视觉上的一致。出于性能原因&＃xff0c;深度学习模型倾向于保留批数据大小的第一维&＃xff08;因为如果并行训练多个示例&＃xff0c;则可以更快地训练模型&＃xff09;。很明显&＃xff0c;这里非常适合使用reshape()。例如&＃xff0c;像BERT这样的模型会期望其输入矩阵的形状为&＃xff1a;[batch_size&＃xff0c;sequence_length&＃xff0c;embedding_size]。

这是一个数字合集&＃xff0c;模型可以处理并执行各种有用的操作。我留空了许多行&＃xff0c;可以用其他示例填充以供模型训练&＃xff08;或预测&＃xff09;。

事实证明&＃xff0c;在我们的例子中&＃xff0c;那位诗人的话语比其他诗人的诗句更加名垂千古。尽管生而为奴&＃xff0c;诗人安塔拉&＃xff08;Antarah&＃xff09;的英勇和语言能力使他获得了自由和神话般的地位&＃xff0c;他的诗是伊斯兰教以前的阿拉伯半岛《悬诗》的七首诗之一。

来源丨大数据文摘

原文链接丨https://jalammar.github.io/visual-numpy/


觉得还不错就给我一个小小的鼓励吧&＃xff01;