基本概念_张量基本概念

张量是一种表示物理量的方式&＃xff0c;这个方式就是用基向量与分量组合表示物理量&＃xff08;Combinationof basis vector and component&＃xff09;。

由于基向量可以有丰富的组合&＃xff0c;张量可以表示非常丰富的物理量。此外&＃xff0c;张量所描述的物理量是不随观察者或者说参照系而变化的&＃xff0c;当参照系变化时&＃xff08;其实就是基向量变化&＃xff09;&＃xff0c;其分量也会相应变化&＃xff0c;最后结果就是基向量与分量的组合&＃xff08;也就是张量&＃xff09;保持不变。这一点对于我们构造数据对象&＃xff0c;进而展开分析建模&＃xff0c;有着至关重要的意义。

回顾过去我们对“量”的认识过程&＃xff0c;我们都懂得用“一个数”来表示数量&＃xff08;标量&＃xff09;&＃xff0c;用“一个数组”&＃xff08;列矩阵或行矩阵&＃xff09;来表示一个向量&＃xff0c;这都属于代数手法。如果采用几何手法&＃xff0c;标量中的实数可以表示为一维坐标系&＃xff08;如数轴&＃xff09;上的一个点&＃xff0c;复数可以表示为二维坐标系&＃xff08;如复平面&＃xff09;上的一个点。向量通常可以表示为二维、三维或更高维坐标系中的一个空间点或有向线段。如果我们把代数手法和几何手法结合起来即采用解析几何的手法&＃xff0c;向量又可以表示为某种坐标基向量和坐标分量的线性组合。

那么现在&＃xff0c;我们接触的张量该如何表示呢&＃xff1f;让我们逐“阶”而上&＃xff0c;看看张量的数据结构形象

1、一阶张量&＃xff08;向量&＃xff09;

不妨首先假定在三维空间中&＃xff0c;则一个一阶张量&＃xff08;向量&＃xff09;有3个分量&＃xff0c;可以表示为一个有序3元数组或1×3阶的行矩阵

Tj &＃61; [T1 T2 T3]

在n维空间中&＃xff0c;一个一阶张量&＃xff08;向量&＃xff09;有n个分量&＃xff0c;可以表示为一个有序n元数组&＃xff0c;或表示为一个1×n阶行矩阵

Tj &＃61; [T1 T2 ...... Tn]

也就是说&＃xff0c;一个一阶张量&＃xff08;向量&＃xff09;可以用一个行矩阵表示&＃xff0c;似乎构成“一条直线”。

2、二阶张量

在三维空间中&＃xff0c;一个二阶张量则有9个分量&＃xff0c;可以表示为一个有序9元数组或3×3阶的矩阵

一般地&＃xff0c;在n维空间中&＃xff0c;一个二阶张量有n2个分量&＃xff0c;可以表示为一个有序n2元数组&＃xff0c;或表示为一个n×n阶矩阵

也就是说&＃xff0c;一个二阶张量可以用一个矩阵表示&＃xff0c;似乎构成“一张平面”。如下图所示&＃xff1a; 图&＃xff1a;二阶张量矩阵平面

3、三阶张量

在三维空间中一个三阶张量

有27个分量&＃xff0c;似乎可以构成一组3个矩阵&＃xff0c;每个矩阵都是3×3个元素。设想“三张平面”构成一个“立方体”。如下图所示&＃xff1a;

图1&＃xff1a;三阶张量数据

如果在n维空间&＃xff0c;一个三阶张量

有n^3个分量&＃xff0c;也可以构成n个矩阵&＃xff0c;每个矩阵都是n×n个元素。设想“n张平面”构成一个“立方体”&＃xff0c;好像一块积木。如下图所示&＃xff1a;

图2&＃xff1a;三阶张量立方体积木

4、四阶张量

继续探讨我们的“积木游戏”。在三维空间中一个四阶张量

有81个分量&＃xff0c;似乎可以构成一组9个矩阵&＃xff0c;每个矩阵都是3×3个元素。设想每“三张平面”构成一个“立方体”&＃xff0c;共有3个“立方体”或曰3块“积木”。3块“积木”排成一列&＃xff0c;好像由矩阵构成的“阵列”。

如果在n维空间&＃xff0c;一个四阶张量

有n^4个分量&＃xff0c;也可以构成n^2个矩阵&＃xff0c;每个矩阵都是n×n个元素。设想每“n张平面”构成一个“立方体”&＃xff08;一块积木&＃xff09;&＃xff0c;n块积木排成一列。我们把这样相互关联的一组矩阵叫做“阵列”。如下图所示&＃xff1a;

图3&＃xff1a;四阶张量数据阵列

5、五阶张量

如果是n维空间中的一个五阶张量

&＃xff0c;共有n^5个分量&＃xff0c;则可以构成n^3个矩阵。设想每n张平面&＃xff08;矩阵&＃xff09;构成一块积木&＃xff0c;每n块积木构成一条阵列&＃xff0c;共有n条阵列&＃xff0c;可以垒成“一堵墙”。假如以元素&＃xff08;张量的分量&＃xff09;为单位&＃xff0c;这堵“墙”的高和长都是n^2&＃xff0c;厚度是n。以3维空间为例&＃xff0c;如下图所示&＃xff1a;

图4&＃xff1a;五阶张量阵列墙&＃xff08;设n&＃xff1d;3&＃xff09;

6、六阶张量

对于6阶张量&＃xff0c;n^6个分量可以组成n^4张矩阵平面&＃xff0c;构成n^3块积木&＃xff0c;再排成n^2条阵列&＃xff0c;垒成n堵墙&＃xff0c;最后拼成一个方垛。以3维空间为例&＃xff0c;如下图所示&＃xff1a;

图5&＃xff1a;六阶张量数据方垛&＃xff08;设n&＃xff1d;3&＃xff09;

7、M阶张量

一般地&＃xff0c;在n维空间中的一个M阶张量共有个分量&＃xff0c;可以组成 张矩阵平面&＃xff0c;构成 块积木&＃xff0c;再排成 条阵列&＃xff0c;垒成 堵墙&＃xff0c;最后拼成 个方垛&＃xff0c;再排成 条方垛阵列&＃xff0c;......依此类推。

我的天啊&＃xff01;太恐怖啦&＃xff01;不要怕&＃xff0c;计算机最擅长作这类数据结构的运算和处理。这就是在计算机时代的今天为什么要研究和普及张量算法的原因。

1.张量的四种定义
1.张量是多维数组&＃xff0c;这个定义常见于各种人工智能软件。
2.张量是某种几何对象&＃xff0c;不会随着坐标系的改变而改变
3.张量是向量和余向量&＃xff08;covector&＃xff09;通过张量积&＃xff08;tensor product&＃xff09;组合而成的。
4.张量是多重线性映射&＃xff0c;即&＃xff1a;

除零阶张量外&＃xff0c;张量的具体表示还与坐标系的选择有关&＃xff0c;选择不同的坐标系&＃xff0c;意味着选择不同的基矢&＃xff08;basis&＃xff09;进行展开。以矢量为例&＃xff0c;在给定坐标系&＃xff0c;矢量由多个数构成&＃xff0c;这些数实际上为当前基矢下的展开系数&＃xff0c;如果坐标轴变化了&＃xff0c;即基矢变化了&＃xff0c;那么自然而然&＃xff0c;对应的展开系数也就变化了。

2.张量表示形式
一阶张量可以理解为一个向量&＃xff0c;二阶张量可以理解为矩阵&＃xff0c;三阶张量可以理解成立方体&＃xff0c;四阶张量可以理解成立方体组成的一个向量&＃xff0c;五阶张量可以理解成立方体组成的矩阵&＃xff0c;依次类推。
把三维张量画成一个立方体&＃xff1a;

3.现实世界中的数据张量
1&＃xff09;向量数据
2D张量&＃xff0c;形状为&＃xff08;samples,features&＃xff09;

2&＃xff09;时间序列数据或序列数据
3D张量&＃xff0c;形状为&＃xff08;sampels,timesteps,features&＃xff09;

当时间&＃xff08;或序列顺序&＃xff09;对于数据很重要时&＃xff0c;应该将数据存储在带有时间轴的3D张量中。每个样本可以被编码为一个向量序列&＃xff08;即2D张量&＃xff09;&＃xff0c;因此一个数据批量就被编码为一个3D张量。

图像通常具有三个维度&＃xff1a;高度&＃xff0c;宽度和颜色深度。虽然灰度图像&＃xff08;比如MNIST数字图像&＃xff09;只有一个颜色通道&＃xff0c;因此可以保存在2D张量中&＃xff0c;但按照惯例&＃xff0c;图像张量始终是3D张量&＃xff0c;灰度图像的彩色通道只有一维。因此&＃xff0c;如果图像大小为 256 × 256 256\\times256256×256 &＃xff0c;那么128张灰度图像组成的批量可以保存在一个形状为&＃xff08;128&＃xff0c;256&＃xff0c;256&＃xff0c;1&＃xff09;的张量中&＃xff0c;而128张彩色图像组成的批量则可以保存在一个形状为&＃xff08;128&＃xff0c;256&＃xff0c;256&＃xff0c;3&＃xff09;的张量中。

图像张量的形状有两种约定&＃xff1a;通道在后&＃xff08;channels-last&＃xff09;的约定&＃xff08;在 TensorFlow 中使用&＃xff09;和 通道在前&＃xff08;channels-first&＃xff09;的约定&＃xff08;在 Theano 中使用&＃xff09;。Google 的 TensorFlow 机器学习框架将 颜色深度轴放在最后&＃xff1a;(samples, height, width, color_depth)。与此相反&＃xff0c;Theano 将图像深度轴放在批量轴之后&＃xff1a;(samples, color_depth, height, width)。如果采 用 Theano 约定&＃xff0c;前面的两个例子将变成 (128, 1, 256, 256) 和 (128, 3, 256, 256)。 Keras 框架同时支持这两种格式。

3&＃xff09;图像
4D张量&＃xff0c;形状为&＃xff08;samples,height,width,channels&＃xff09;或&＃xff08;samples,channels,height,width&＃xff09;

4&＃xff09;视频
5D张量&＃xff0c;形状为&＃xff08;samples,frames,height,width,channels&＃xff09;或&＃xff08;samples,frames,channels,height,width&＃xff09;

视频数据是现实生活中需要用到 5D 张量的少数数据类型之一。视频可以看作一系列帧&＃xff0c; 每一帧都是一张彩色图像。由于每一帧都可以保存在一个形状为 (height, width, color_ depth) 的 3D 张量中&＃xff0c;因此一系列帧可以保存在一个形状为 (frames, height, width, color_depth) 的 4D 张量中&＃xff0c;而不同视频组成的批量则可以保存在一个 5D 张量中&＃xff0c;其形状为 (samples, frames, height, width, color_depth)。

4&＃xff09;阶&＃xff08;order/ways/modes/rank&＃xff09;
阶&＃xff1a;张成所属张量空间的向量空间的个数
一阶张量&＃xff08;向量&＃xff09;&＃xff1a;[5,10,15,30,25]
二阶张量&＃xff08;矩阵&＃xff09;&＃xff1a;&＃xff08;[[5,10,15,30,25],[20,30,65,70,90],[7,80,95,20,30]]&＃xff09;
三阶张量&＃xff1a;&＃xff08;[[[5,10,15,30,25],[20,30,65,70,90],[7,80,95,20,30]],[[3,1,1,0,2],[2,3,5,7,9],[7,8,5,2,3]],[[15,0,5,0,5],[0,0,5,0,0],[7,0,5,0,0]]]&＃xff09;

在实际的操作中&＃xff0c;秩可以理解为[的深度。例如&＃xff1a;
rank &＃61; 1:[0,1,2]
rank &＃61; 2:[[0,1],[2,3]]
rank &＃61; 3:[[[0,1],[2,3]],[[4,5],[6,7]]]

一阶张量&＃xff08;向量&＃xff09;&＃xff1a;
二阶张量&＃xff08;矩阵&＃xff09;&＃xff1a;

三阶或更高阶张量&＃xff1a;
零阶张量&＃xff08;数量&＃xff09;&＃xff1a;

以三阶张量为例&＃xff1a;