pytorch张量创建、变换

张量基本概念

张量是一个高维数组

在 pytorch0.4.0之前&＃xff0c;torch.autograd 包中存在 Variable 这种数据类型&＃xff0c;主要是用于封装 Tensor&＃xff0c;进行自动求导 。

构建神经网络的计算图时&＃xff0c;需用torch.autograd.Variable将Tensor包装起来&＃xff0c;形成计算图中的节点。backward()自动计算出所有需要的梯度。来针对某个变量执行grad获得想要的梯度值。

import torch
from torch.autograd import Variablex&＃61;Variable(torch.randn(2,2),requires_grad&＃61;True)
y&＃61;x&＃43;3
z&＃61;y*y*3out&＃61;z.mean()
out.backward()print(x.grad)

 Variable具有以下几个属性。

 在 PyTorch 0.4.0 之后&＃xff0c;Variable 并入了 Tensor。在之后版本的 Tensor 中&＃xff0c;除了具有上面 Variable的5个属性&＃xff0c;还有另外3个属性。

张量的创建

直接创建

torch.tensor()

torch.tensor(data, dtype&＃61;None, device&＃61;None, requires_grad&＃61;False, pin_memory&＃61;False) -> Tensor


• data&＃xff1a;数据&＃xff0c;可以是list&＃xff0c;也可以是numpy
• dtype&＃xff1a;数据类型&＃xff0c;默认和data一致
• device&＃xff1a;tensor所在的设备
• requires_grad&＃xff1a;是否需要梯度&＃xff0c;默认False&＃xff0c;在搭建神经网络时需要将求导的参数设为True

torch.from_numpy()

将ndarray转换成tensor&＃xff0c;两者共享内存&＃xff0c;当修改一个数据时另一个也会被修改

import torch
import numpy as np
array_b &＃61; np.array([1, 2, 3, 4])
tensor_b &＃61; torch.from_numpy(array_b)
print(array_b,tensor_b)
###两者共用内存&＃xff0c;其中一个改变另一个也会改变
array_b[0]&＃61;111
print(array_b,tensor_b)

依数值创建

torch.zeros()依size创建全0的张量

torch.zeros(*size, out&＃61;None, dtype&＃61;None, layout&＃61;torch.strided, device&＃61;None, requires_grad&＃61;False) -> Tensor


其他&＃xff0c;例如torch.ones(),torch.eyes(),torch.arange()

依概率创建

torch.normal()生成正态分布

torch.randn()生成标准正态分布

torch.rand()生成均匀分布

torch.randperm()生成0-n-1的随机排列&＃xff0c;常用于生成索引

torch.bernoulli()以input为概率生成伯努利分布

张量的操作

张量的拼接

● torch.cat()将tensor序列按维度进行拼接&＃xff0c;不会扩张张量的维度
● torch.stack()将tensor序列在新建的维度上进行拼接&＃xff0c;会扩张张量的维度

import torcha &＃61; torch.rand((2,3))
print(a.shape)b&＃61;torch.cat([a,a],dim&＃61;1)
#b&＃61;torch.stack([a,a],dim&＃61;0)print(b.shape)

张量的切分

torch.chunk()&＃xff1a;将张量按维度进行平均切分&＃xff0c;返回值是张量列表

import torcha &＃61; torch.rand((2, 6))
a_chunk &＃61; torch.chunk(a, dim&＃61;1, chunks&＃61;6)for idx, t in enumerate(a_chunk):print(&＃39;第{}个张量:{},shape is {}&＃39;.format(idx, t, t.shape))

torch.split() 按维度dim将张量进行切分

import torcha &＃61; torch.rand((2, 6))
a_chunk &＃61; torch.split(a, [2,2,1,1],dim&＃61;1)for idx, t in enumerate(a_chunk):print(&＃39;第{}个张量:{},shape is {}&＃39;.format(idx, t, t.shape))


张量变换

.transpose()交换张量的两个维度。常用于图像的变换&＃xff0c;比如把chw变换为hwc
.permute:可以对多个维度进行变换
.squeeze()压缩长度为1的维度&＃xff0c;dim若为None&＃xff0c;移除所有长度为1的轴&＃xff0c;若指定维度&＃xff0c;当且仅当该轴的长度为1时&＃xff0c;可以被移除
.unsqueeze():依据dim扩张维度

.reshape()变换张量的形状&＃xff0c;当张量在内存中是连续时&＃xff0c;新张量和input共享数据内存

.view()只能改变连续的&＃xff08;contiguous&＃xff09;张量&＃xff0c;返回的张量和原张量共享基础数据