PyTorch：RNN，TensorBoard，部署PyTorch，数据增强

作者：Evilchrist | 来源：互联网 | 2023-09-09 17:39

1，循环神经网络（RNN）1.1，基本概述大脑区别于机器的一个最大的特征就是有记忆，并且能够根据自己的记忆对

1&＃xff0c;循环神经网络&＃xff08;RNN&＃xff09;

1.1&＃xff0c;基本概述

大脑区别于机器的一个最大的特征就是有记忆&＃xff0c;并且能够根据自己的记忆对未知的事务进行推导&＃xff0c;思想拥有持久性的。由于传统的神经网络没有设计记忆结构&＃xff0c;因此在处理序列数据上无所适从&＃xff08;即便经过特殊的处理&＃xff09;&＃xff0c;这不仅导致工作量变大&＃xff0c;预测的结果也会收到很大的影响。循环神经网络&＃xff08;RNN&＃xff09;针对BP神经网络的缺点&＃xff0c;增加了信息跨时传递的结构。传统的神经网络模型面对许多问题显得无能为力&＃xff0c;因为同层节点之间无连接&＃xff0c;网络传播也是顺序的。而循环神经网络对序列化数据有很强的的模型拟合能力&＃xff0c;因为它相比起ANN来讲是一种具有反馈结构的神经网络&＃xff0c;其输出不但与当前输入和网络的权值有关&＃xff0c;而且也与先前网络的输入有关。

RNN的起因&＃xff1a;现实世界中&＃xff0c;很多元素都是相互连接的&＃xff0c;比如室外的温度是随着气候的变化而周期性的变化的、我们的语言也需要通过上下文的关系来确认所表达的含义。但是机器要做到这一步就相当得难了。因此&＃xff0c;就有了现在的循环神经网络&＃xff0c;它的本质是&＃xff1a;拥有记忆的能力&＃xff0c;并且会根据这些记忆的内容来进行推断。因此&＃xff0c;他的输出就依赖于当前的输入和记忆。

RNN的优势&＃xff1a;RNN背后的想法是利用顺序的信息。在传统的神经网络中&＃xff0c;假设所有输入&＃xff08;和输出&＃xff09;彼此独立。如果预测句子中的下一个单词&＃xff0c;就要知道它前面有哪些单词&＃xff0c;甚至要看到后面的单词才能够给出正确的答案。RNN之所以称为循环&＃xff0c;就是因为它们对序列的每个元素都会执行相同的任务&＃xff0c;所有的输出都取决于先前的计算。从另一个角度讲RNN的它是有“记忆”的&＃xff0c;可以捕获到目前为止计算的信息。理论上&＃xff0c;RNN可以在任意长的序列中使用信息&＃xff0c;但实际上它们仅限于回顾几个步骤。循环神经网络的提出便是基于记忆模型的想法&＃xff0c;期望网络能够记住前面出现的特征.并依据特征推断后面的结果&＃xff0c;而且整体的网络结构不断循环&＃xff0c;因为得名循环神经网络。

RNN的用途&＃xff1a;RNN在许多NLP任务中取得了巨大成功。在这一点上&＃xff0c;最常用的RNN类型是LSTM&＃xff0c;它在捕获长期依赖性方面要比RNN好得多。但不要担心&＃xff0c;LSTM与RNN基本相同&＃xff0c;它们只是采用不同的方式来计算隐藏状态。

语言建模与生成文本&＃xff1a;通过语言的建模&＃xff0c;可以通过给定的单词生成人类可以理解的以假乱真的文本。
机器翻译&＃xff1a;机器翻译类似于语言建模&＃xff0c;输入源语言中的一系列单词&＃xff0c;通过模型的计算可以输出目标语言与之对应的内容。
语音识别&＃xff1a;给定来自声波的声学信号的输入序列&＃xff0c;可以预测一系列语音片段及其概率&＃xff0c;并把语音转化成文字。
生成图像描述&＃xff1a;与卷积神经网络一起&＃xff0c;RNN可以生成未标记图像的描述。

1.2&＃xff0c;网络结构及原理

对于RNN而言&＃xff0c;每个时刻的隐藏层除了连接本期的输入层和输出层&＃xff0c;还连接着上一时刻和下一时刻的隐藏单元&＃xff0c;这也就是历史信息的传递方式。过去的信息正是通过这样的结构影响当期的输出。此外&＃xff0c;在模型训练上&＃xff0c;RNN虽然也是采用反向传播的方式&＃xff0c;但跟BP模型不一样的是&＃xff0c;它还包含了最后一个时间将积累的残差传递回来的过程。这种方式被称为基于时间的反向传播&＃xff08;BPTT&＃xff09;。

循环神经网络的基本结构特别简单&＃xff0c;就是将网络的输出保存在一个记忆单元中&＃xff0c;这个记忆单元和下一次的输入一起进入神经网络中。我们可以看到网络在输入的时候会联合记忆单元一起作为输入&＃xff0c;网络不仅输出结果&＃xff0c;还会将结果保存到记忆单元中&＃xff0c;下图就是一个最简单的循环神经网络在输入时的结构示意图。

RNN 可以被看做是同一神经网络的多次赋值&＃xff0c;每个神经网络模块会把消息传递给下一个&＃xff0c;将这个图的结构展开

网络中具有循环结构&＃xff0c;这也是循环神经网络名字的由来&＃xff0c;同时根据循环神经网络的结构也可以看出它在处理序列类型的数据上具有天然的优势。因为网络本身就是一个序列结构&＃xff0c;这也是所有循环神经网络最本质的结构。

循环神经网络具有特别好的记忆特性&＃xff0c;能够将记忆内容应用到当前情景下&＃xff0c;但是网络的记忆能力并没有想象的那么有效。记忆最大的问题在于它有遗忘性&＃xff0c;总是更加清楚地记得最近发生的事情而遗忘很久之前发生的事情&＃xff0c;循环神经网络同样有这样的问题。

1.3&＃xff0c;搭建循环神经网络

Pytorch 中使用 nn.RNN 类来搭建基于序列的循环神经网络&＃xff0c;它的构造函数有以下几个参数&＃xff1a;

input_size&＃xff1a;输入数据X的特征值的数目。
hidden_size&＃xff1a;隐藏层的神经元数量&＃xff0c;也就是隐藏层的特征数量。
num_layers&＃xff1a;循环神经网络的层数&＃xff0c;默认值是 1。
bias&＃xff1a;默认为 True&＃xff0c;如果为 false 则表示神经元不使用 bias 偏移参数。
batch_first&＃xff1a;如果设置为 True&＃xff0c;则输入数据的维度中第一个维度就是 batch 值&＃xff0c;默认为 False。默认情况下第一个维度是序列的长度&＃xff0c; 第二个维度才是 - - batch&＃xff0c;第三个维度是特征数目。
dropout&＃xff1a;如果不为空&＃xff0c;则表示最后跟一个 dropout 层抛弃部分数据&＃xff0c;抛弃数据的比例由该参数指定。
RNN 中最主要的参数是 input_size 和 hidden_size&＃xff0c;这两个参数务必要搞清楚。其余的参数通常不用设置&＃xff0c;采用默认值就可以了。

import torch rnn &＃61; torch.nn.RNN(20, 50, 2) input &＃61; torch.randn(100, 32, 20) h_0 &＃61;torch.randn(2, 32 ,50) output,hn&＃61;rnn(input, h_0) print(output.size(), hn.size()) &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; torch.Size([100, 32, 50]) torch.Size([2, 32, 50])
RNN其实也是一个普通的神经网络&＃xff0c;只不过多了一个 hidden_state 来保存历史信息。这个hidden_state的作用就是为了保存以前的状态&＃xff0c;我们常说RNN中保存的记忆状态信息&＃xff0c;就是这个 hidden_state 。

$h_t &＃61; \tanh(W_{ih} x_t &＃43; b_{ih} &＃43; W_{hh} h_{(t-1)} &＃43; b_{hh})$

这个步骤与普通的神经网络没有任何的区别&＃xff0c;而 RNN 因为多了序列&＃xff08;sequence&＃xff09; 这个维度&＃xff0c;要使用同一个模型跑 n 次前向传播&＃xff0c;这个n就是我们序列设置的个数。

class RNN(object):def __init__(self,input_size,hidden_size):super().__init__()self.W_xh &＃61; torch.nn.Linear(input_size, hidden_size) #因为最后的操作是相加所以hidden要和output的shape一致self.W_hh &＃61; torch.nn.Linear(hidden_size, hidden_size)def __call__(self, x, hidden):return self.step(x, hidden)def step(self, x, hidden):#前向传播的一步h1 &＃61; self.W_hh(hidden)w1 &＃61; self.W_xh(x)out &＃61; torch.tanh(h1 &＃43; w1)hidden &＃61; self.W_hh.weightreturn out, hidden rnn &＃61; RNN(20, 50) input &＃61; torch.randn(32 , 20) h_0 &＃61; torch.randn(32, 50) seq_len &＃61; input.shape[0] for i in range(seq_len):output, hn &＃61; rnn(input[i, :], h_0) print(output.size(), h_0.size()) &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; torch.Size([32, 50]) torch.Size([32, 50])

1.4&＃xff0c;LSTM

普通RNN虽然具备一定的记忆功能&＃xff0c;但是却不能很好地处理长期记忆问题。循环神经网络包含非常复杂的参数动态变化&＃xff0c;这导致它非常难训练。RNN也是采用后向传播算法对权重和阀值进行优化&＃xff0c;虽然可以将之前的隐藏层状态存储在记忆单元中&＃xff0c;但对于处理相隔距离较远的信息却无能为力。当误差的权重大于1时&＃xff0c;权重经过多次相乘会导致梯度爆炸的问题&＃xff1b;而当误差的权重小于1时&＃xff0c;经过多次传播&＃xff0c;又会出现梯度消失的情况。RNN训练难度的本质在于参数在时间结构的传递中不断使用&＃xff0c;即在不同的时间点反复使用&＃xff0c;因此只要权重有微小的变化就有可能造成“蝴蝶效应”。

LSTM 是 Long Short Term Memory Networks 的缩写&＃xff0c;翻译就是长的短时记忆网络。LSTM虽然只解决了短期依赖的问题&＃xff0c;并且它通过刻意的设计来避免长期依赖问题&＃xff0c;这样的做法在实际应用中被证明还是十分有效的&＃xff0c;有很多人跟进相关的工作解决了很多实际的问题&＃xff0c;所以现在LSTM 仍然被广泛地使用。

标准的循环神经网络内部只有一个简单的层结构&＃xff0c;而 LSTM 内部有 4 个层结构&＃xff1a;

第一层是个忘记层&＃xff1a;决定状态中丢弃什么信息。
第二层tanh层用来产生更新值的候选项&＃xff0c;说明状态在某些维度上需要加强&＃xff0c;在某些维度上需要减弱。
第三层sigmoid层&＃xff08;输入门层&＃xff09;&＃xff0c;它的输出值要乘到tanh层的输出上&＃xff0c;起到一个缩放的作用&＃xff0c;极端情况下sigmoid输出0说明相应维度上的状态不需要更新。
最后一层决定输出什么&＃xff0c;输出值跟状态有关。候选项中的哪些部分最终会被输出由一个sigmoid层来决定。
pytorch 中使用 nn.LSTM 类来搭建基于序列的循环神经网络&＃xff0c;他的参数基本与RNN类似。

lstm &＃61; torch.nn.LSTM(10, 20,2) input &＃61; torch.randn(5, 3, 10) h0 &＃61; torch.randn(2, 3, 20) c0 &＃61; torch.randn(2, 3, 20) output, hn &＃61; lstm(input, (h0, c0)) print(output.size(), hn[0].size(), hn[1].size()) &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; torch.Size([5, 3, 20]) torch.Size([2, 3, 20]) torch.Size([2, 3, 20])

1.5&＃xff0c;GRU

GRU 和 LSTM 最大的不同在于 GRU 将遗忘门和输入门合成了一个"更新门"&＃xff0c;同时网络不再额外给出记忆状态&＃xff0c;而是将输出结果作为记忆状态不断向后循环传递&＃xff0c;网络的输人和输出都变得特别简单。

rnn &＃61; torch.nn.GRU(10, 20, 2) input &＃61; torch.randn(5, 3, 10) h_0&＃61; torch.randn(2, 3, 20) output, hn &＃61; rnn(input, h0) print(output.size(),hn.size()) &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; torch.Size([5, 3, 20]) torch.Size([2, 3, 20])

2&＃xff0c;TensorBoard

2.1&＃xff0c;安装TensorBoard

TensorBoard是一个Web应用&＃xff0c;设计用来对神经网络的不同方面进行可视化。利用TensorBoard可以很容易地实时查看统计信息&＃xff0c;如准确度、损失激活值&＃xff0c;实际上可以查看你希望通过网络发送的任何信息。尽管它本身是用TensorFolow编写的&＃xff0c;但有一个跨系统而且相当简单的API&＃xff0c;在PyTorch中使用与在TensorFlow中使用并没有太大差别。

安装&＃xff1a;

#要求PyTorch版本在v1.14以上 pip install tensorboard conda install tensorboard
启动&＃xff1a;

tensorboard --logdir&＃61;runs &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; TensorBoard 1.14.0 at http://DESKTOP-3T77H9A:6006/ (Press CTRL&＃43;C to quit)
根据提示进入网站&＃xff0c;可以看到如下欢迎界面&＃xff1a;

2.2&＃xff0c;向TensorBoard发送数据

PyTorch中使用TensorBoard的模块在torch.utils.tensorboard中&＃xff1a;

from torch.utils.tensorboard import SummaryWriter writer &＃61; SummaryWriter() writer.add_scalar(&＃39;example&＃39;,3)
使用SummaryWriter类与TensorBoard交互&＃xff0c;这里使用标准位置./runs记录输出&＃xff0c;另外使用add_scalar并提供一个标记来发送一个标量。

在PyCharm中打开TensorBoard&＃xff1a;

加一层循环&＃xff1a;

from torch.utils.tensorboard import SummaryWriter import randomvalue &＃61; 10 writer &＃61; SummaryWriter() writer.add_scalar(&＃39;test_loop&＃39;, 0) for i in range(1, 10000):value &＃43;&＃61; random.random() - 0.5writer.add_scalar(&＃39;test_loop&＃39;, value, i)

2.3&＃xff0c;PyTorch钩子

PyTorch提供了钩子&＃xff08;hook&＃xff09;&＃xff0c;这是在向前向后传播时看&＃xff0c;可以附加到一个张量或模块的函数。PyTorch在传播中遇到一个带钩子的模块时&＃xff0c;它会调用所注册的钩子。计算一个张量的梯度时&＃xff0c;就会调用这个张量上注册的钩子。

钩子提供了很多可能很强大的方式来管理模块和张量&＃xff0c;因为如果需要&＃xff0c;可以完全替换进入钩子的&＃xff08;前一层&＃xff09;输出。可以改变梯度、屏蔽激活、替换模块中的所有偏置等。不过这里只是使用钩子在数据流过时得到网络的有关信息。

import torch.utils.data import torchvisiondef print_hook(module,input,output):print(input[0].shape) net &＃61; torchvision.models.resnet18() x &＃61; torch.rand(1,3,224,224) hook_ref &＃61; net.fc.register_forward_hook(print_hook) net(x) hook_ref.remove() net(x) &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; torch.Size([1, 512])
程序结果打印出一些文本&＃xff0c;显示模型全连接层的输入形状。注意&＃xff0c;第二次向模型传入张量&＃xff0c;不会看到print语句。向一个模块或张量增加一个钩子时&＃xff0c;PyTorch会返回这个钩子的一个引用。总是应当保存这个引用&＃xff0c;然后工作完成时调用remove()。如果没有保存这个引用&＃xff0c;它就会在内存中“游荡”&＃xff0c;而占用宝贵的内存。反向钩子的做法类似&＃xff0c;只不过要调用register_backward_hook()。

2.4&＃xff0c;均值和标准差

建立一个函数&＃xff0c;将一个输出层的均值和标准差发送给TensorBoard&＃xff1a;

def send_stats(i, module, input, output):writer.add_scalar(f"layer {i}-mean", output.data.mean())writer.add_scalar(f"layer {i}-stddev", output.data.std())
不能用这个函数本身建立一个前向钩子&＃xff0c;不过通过使用Python函数partial()&＃xff0c;可以创建一系列前向钩子&＃xff0c;将它们附加到指定i值&＃xff08;partial()的第二个参数&＃xff09;的一个层&＃xff0c;从而确保把正确的值传送到TensorBoard中正确的图中&＃xff1a;

for i, m in enumerate(model.children()):m.register_forward_hook(partial(send_stats, i))
注意&＃xff0c;这里使用了model.children()&＃xff0c;这样只会附加到模型的各个顶层模块&＃xff0c;所以如果有一个nn.Sequential()层&＃xff08;基于ResNet的模型都有这样一个层&＃xff09;&＃xff0c;钩子只会附加到这个模块&＃xff0c;而不会附加到nn.Sequential列表中的各个模块。

如果使用通常的训练函数训练这个模型&＃xff0c;应该会看到激活值开始流入TensorBoard。必须切换为WALL&＃xff0c;因此不再用钩子将训练的步信息发送回TensorBoard&＃xff08;只有在调用PyTorch钩子时才会得到模块信息&＃xff09;。

2.5&＃xff0c;获取模型详细信息

理想情况下神经网络中的层应该均值为0&＃xff0c;并且标准差为1&＃xff0c;从而保证计算不会变成无穷大或者0。如果不是这样&＃xff0c;可能这个网络训练有问题。

import torch import torch.nn as nn import torch.utils.data import torchvision from functools import partial from torch import optim from torch.utils.tensorboard import SummaryWriter from torchvision import datasets, transforms# Writer will output to ./runs/ directory by defaultwriter &＃61; SummaryWriter()transform &＃61; transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))] ) trainset &＃61; datasets.MNIST("mnist_train", train&＃61;True, download&＃61;True, transform&＃61;transform) train_data_loader &＃61; torch.utils.data.DataLoader(trainset, batch_size&＃61;64, shuffle&＃61;True) model &＃61; torchvision.models.resnet50(False)model.conv1 &＃61; torch.nn.Conv2d(1, 64, kernel_size&＃61;7, stride&＃61;2, padding&＃61;3, bias&＃61;False) images, labels &＃61; next(iter(train_data_loader))grid &＃61; torchvision.utils.make_grid(images) writer.add_image("images", grid, 0) writer.add_graph(model, images)def send_stats(i, module, input, output):writer.add_scalar(f"layer {i}-mean", output.data.mean())writer.add_scalar(f"layer {i}-stddev", output.data.std())for i, m in enumerate(model.children()):m.register_forward_hook(partial(send_stats, i))# Now train the model and watch output in Tensorboardoptimizer &＃61; optim.Adam(model.parameters(), lr&＃61;2e-2) criterion &＃61; nn.CrossEntropyLoss()def train(model, optimizer, loss_fn, train_loader, val_loader, epochs&＃61;20, device&＃61;"cuda:0"):model.to(device)for epoch in range(epochs):print(f"epoch {epoch &＃43; 1}")model.train()for batch in train_loader:optimizer.zero_grad()ww, target &＃61; batchww &＃61; ww.to(device)target &＃61; target.to(device)output &＃61; model(ww)loss &＃61; loss_fn(output, target)loss.backward()optimizer.step()model.eval()num_correct &＃61; 0num_examples &＃61; 0for batch in val_loader:ww, target &＃61; batchww &＃61; ww.to(device)target &＃61; target.to(device)output &＃61; model(ww)correct &＃61; torch.eq(torch.max(output, dim&＃61;1)[1], target).view(-1)num_correct &＃43;&＃61; torch.sum(correct).item()num_examples &＃43;&＃61; correct.shape[0]print("Epoch {}, accuracy &＃61; {:.2f}".format(epoch &＃43; 1, num_correct / num_examples))train(model, optimizer, criterion, train_data_loader, train_data_loader, epochs&＃61;5)

3&＃xff0c;部署PyTorch

3.1&＃xff0c;搭建Flask服务

建立模型只是构建深度学习应用的一部分&＃xff0c;毕竟一个模型有那么惊人的准确度&＃xff08;或其他优点&＃xff09;&＃xff0c;但是如果它从不做任何预测&＃xff0c;又有什么价值。因为我们希望有一种简单的方法打包我们的模型&＃xff0c;使它们能响应请求&＃xff08;可以通过Web或者其他途径&＃xff09;&＃xff0c;而且可以通过最少的努力使模型在生产环境中运行。

Python允许我们使用Flask框架&＃xff08;Flask是用Python创建Web服务的一个流行框架&＃xff09;快速地部署和运行一个Web服务&＃xff0c;接受一个请求&＃xff08;包含一个图像URL&＃xff09;&＃xff0c;并返回一个JSON响应&＃xff0c;指示预测结果。

conda install -c anaconda flask pip install flask
创建一个名为catfish的新目录&＃xff0c;把你的模型定义作为model.py复制到这个目录中&＃xff1a;

import torch.nn as nn from torchvision import modelsCatfishClasses &＃61; ["cat","fish"]CatfishModel &＃61; models.resnet50() CatfishModel.fc &＃61; nn.Sequential(nn.Linear(CatfishModel.fc.in_features,500),nn.ReLU(),nn.Dropout(), nn.Linear(500,2))
import os import requests import torch from flask import Flask, jsonify, request from io import BytesIO from PIL import Image from torchvision import transforms from catfish_model import CatfishModel, CatfishClassesdef load_model():m &＃61; CatfishModelm.eval()return m model &＃61; load_model() img_transforms &＃61; transforms.Compose([transforms.Resize((224, 224)),transforms.ToTensor(),transforms.Normalize(mean&＃61;[0.485, 0.456, 0.406],std&＃61;[0.229, 0.224, 0.225]) ]) app &＃61; Flask(__name__)&＃64;app.route("/") def status():return jsonify({"status": "ok"})&＃64;app.route("/predict", methods&＃61;[&＃39;GET&＃39;, &＃39;POST&＃39;]) def predict():if request.method &＃61;&＃61; &＃39;POST&＃39;:img_url &＃61; request.form.image_urlelse:img_url &＃61; request.args.get(&＃39;image_url&＃39;, &＃39;&＃39;)response &＃61; requests.get(img_url)img &＃61; Image.open(BytesIO(response.content))img_tensor &＃61; img_transforms(img).unsqueeze(0)prediction &＃61; model(img_tensor)predicted_class &＃61; CatfishClasses[torch.argmax(prediction)]return jsonify({"image": img_url, "prediction": predicted_class}) if __name__ &＃61;&＃61; &＃39;__main__&＃39;:app.run(host&＃61;"127.0.0.1",port&＃61;"8080")
Flask的魅力在于&＃64;app.route()注解。这些注解允许我们关联平常的Python函数&＃xff0c;用户达到某个特定端点时就会运行这些函数。在我们的predict()方法中&＃xff0c;从GET或POST HTTP请求取出img_url参数&＃xff0c;打开这个URL&＃xff08;作为一个PIL图像&＃xff09;&＃xff0c;把它推入一个简单的torchvision转换流水线&＃xff0c;调整它的大小并把图像转换为一个张量。

这样我们会得到一个形状为[3, 224, 224]的张量&＃xff0c;不过由于这个模型的工作方式&＃xff0c;需要把它转换为批量大小为1的一个批次&＃xff0c;也就是[1, 3, 224, 224]。所以再使用unsqueeze()扩展这个张量&＃xff0c;在现在维度前面插入一个新的空轴&＃xff08;维度&＃xff09;。然后像往常一样把它传入模型&＃xff0c;从而得到我们的预测张量。与前面的做法一样&＃xff0c;我们使用torch.argmax()找到最大值的张量元素&＃xff0c;并用这个元素作为索引来访问CatfishClasses数组。最后返回一个JSON响应&＃xff0c;其中包括类别名和做预测的图像URL。

如果现在尝试这个服务&＃xff0c;可能发现它的分类性能有些失望。因为这个模型没有经过任何训练&＃xff0c;下面将填充load_model()来加载神经网络参数。

3.2&＃xff0c;设置模型参数

通过之前的了解&＃xff0c;知道了训练之后保存模型的两种方法&＃xff0c;可以用torch.save()将整个模型写至磁盘&＃xff0c;或者使用state_dict()保存模型的所有权重和偏执&＃xff08;但不包括结构&＃xff09;。对于这个基于生产环境的服务&＃xff0c;需要加载一个已训练的模型&＃xff0c;应该选择state_dict方法。

尽管保存整个模型是一个很有吸引力的选择&＃xff0c;但是你会对模型结构的任何改变非常敏感&＃xff0c;甚至训练环境目录结构的改变也会产生很大的影响。在其他地方运行的不同服务中加载这个模型时很可能会出现问题。如果迁移到一个稍有不同的布局&＃xff08;结构&＃xff09;&＃xff0c;肯定不希望一切从头开始。

另外&＃xff0c;如果是用state_dicts()保存模型&＃xff0c;加载保存的模型时&＃xff0c;最好不要硬编码指定模块的文件名&＃xff0c;这样就能将模型更新与服务解耦合。这意味着我们可以用一个新模型重启服务&＃xff0c;或者也可以很容易地还原到之前的一个模型。

def load_model():m &＃61; CatfishModellocation &＃61; "./a.pt"m.load_state_dict(torch.load(location))m.eval()return m
torch.save(net.state_dict(), &＃39;./data/&＃39; &＃43; &＃39;model.pt&＃39;)

3.3&＃xff0c;服务器部署

使用Xshell上传Python项目文件&＃xff1a;

nohup python Net_Server.py >temp.txt&
注意&＃xff1a;

其中IP地址不能为&＃xff1a;“127.0.0.1”&＃xff0c;否则只能本地访问&＃xff0c;应该改为“0.0.0.0”。
端口保证不被占用&＃xff0c;在安全组中允许访问&＃xff0c;并且注意防火墙&＃xff08;可直接关闭&＃xff09;。

4&＃xff0c;数据增强

4.1&＃xff0c;基本概念

为了防止过拟合的出现&＃xff0c;传统的做法是提供大量数据。通过查看更多数据&＃xff0c;模型会对所要解决的问题有一个更一般的认知。如果把这种情况看作是一个压缩问题&＃xff0c;通过避免模型存储所有答案&＃xff08;由于数据过多&＃xff0c;超出了其存储容量&＃xff0c;所以无法全部存储&＃xff09;&＃xff0c;就会要求压缩输入&＃xff0c;相应地可以生成一个更泛化的解决方案&＃xff0c;而不只是存储答案。

可以使用的一种方法是数据增强&＃xff0c;如果我们有一个图像&＃xff0c;可以考虑对这个图像做很多种不同的处理&＃xff0c;这样就能避免过拟合&＃xff0c;并使模型更泛化。

torchvision提供了一个丰富的转换集合&＃xff0c;包含可以用于数据增强的大量转换&＃xff0c;包括&＃xff1a;

&＃xff08;1&＃xff09;基本

Compose&＃xff1a;图像预处理包&＃xff0c;一般用Compose把多个步骤整合到一起。

Lambda&＃xff1a;根据用户自定义的方式进行变换。

&＃xff08;2&＃xff09;裁剪

RandomCrop&＃xff1a;随机进行裁剪。
CenterCrop&＃xff1a;裁剪一定 size 的图片&＃xff0c;以图片的中心往外。

RandomResizedCrop&＃xff1a;裁剪给定的 PIL 图像到随机的尺寸和长宽比。

RandomSizedCrop&＃xff1a;已经废弃&＃xff0c;由 RandomResizedCrop. 取代了。

FiveCrop&＃xff1a;对图片进行上下左右以及中心裁剪&＃xff0c;获得5张图片&＃xff0c;返回一个4D-tensor。

TenCrop&＃xff1a;对图片进行上下左右以及中心裁剪&＃xff0c;然后全部翻转&＃xff08;水平或者垂直&＃xff09;&＃xff0c;获得10张图片&＃xff0c;返回一个4D-tensor。

&＃xff08;3&＃xff09;翻转和旋转

RandomHorizontalFlip/RandomVerticalFlip&＃xff1a;随机进行水平/竖直翻转。
RandomRotation&＃xff1a;依degrees随机旋转一定角度。
&＃xff08;4&＃xff09;图像变换

Resize&＃xff1a;重置图像分辨率。
ToTensor&＃xff1a;将shape为&＃xff08;hwc&＃xff09;的nump.ndarray或img转为shape为(chw)的tensor&＃xff0c;其将每一个数值归一化到[0,1]&＃xff0c;其归一化方法比较简单&＃xff0c;直接除以255即可。
ToPILImage&＃xff1a;将tensor 或者 ndarray的数据转换为 PIL Image 类型数据。
Normalize&＃xff1a;对数据按通道进行标准化&＃xff0c;即先减均值&＃xff0c;再除以标准差&＃xff0c;注意是 hwc。
Scale&＃xff1a;在底层的实现上, Resize 直接调用 PIL Image 的 resize 方法&＃xff0c;Scale 与 Resize 功能相同, 实际上 Scale 直接继承 Resize。&＃xff08;已被废弃&＃xff09;

Pad&＃xff1a;填充图片的外部轮廓 PIL 数据格式。

ColorJitter&＃xff1a;随机改变图像的亮度、对比度和饱和度。

Grayscale&＃xff1a;转换图像灰度。

LinearTransformation&＃xff1a;对矩阵做线性变化&＃xff0c;可用于白化处理&＃xff01;

RandomAffine&＃xff1a;仿射变换。

RandomGrayscale&＃xff1a;依概率p将图片转换为灰度图&＃xff0c;若通道数为3&＃xff0c;则3 channel with r &＃61;&＃61; g &＃61;&＃61; b。

&＃xff08;5&＃xff09;图像变换

RandomApply&＃xff1a;给定一定概率从一组 transformations 应用。

RandomChoice&＃xff1a;随机从一组变换中选择一个。

RandomOrder&＃xff1a;按随机顺序应用变换列表。

RandomPerspective&＃xff1a;对给定的PIL图像以给定的概率随机进行透视变换。

4.2&＃xff0c;例程

读取图片文件

from torchvision import transforms from PIL import Image from torchvision.transforms import functional as TF import torch # 读取一张测试图片 path &＃61; "test.jpg" img &＃61; Image.open(path) img.show()

ToPILImage&＃xff1a;将tensor 或者 ndarray的数据转换为 PIL Image 类型数据。

# 将 &＃96;&＃96;PIL Image&＃96;&＃96; or &＃96;&＃96;numpy.ndarray&＃96;&＃96; 转换成 tensor 再转成 PIL Image. transform &＃61; transforms.Compose([transforms.ToTensor(), # Convert a &＃96;&＃96;PIL Image&＃96;&＃96; or &＃96;&＃96;numpy.ndarray&＃96;&＃96; to tensor.transforms.ToPILImage() # Convert a tensor or an ndarray to PIL Image. ]) new_img &＃61; transform(img) new_img.show()

Normalize&＃xff1a;提供一个所有通道的均值&＃xff08;mean&＃xff09; 和方差&＃xff08;std&＃xff09;&＃xff0c;会将原始数据进行归一化&＃xff0c;操作的数据格式是 Tensor。

mean &＃61; [0.5, 0.5, 0.5] std &＃61; [0.5, 0.5, 0.5] transform &＃61; transforms.Compose([transforms.ToTensor(),transforms.Normalize(mean, std),transforms.ToPILImage() # 这里是为了可视化&＃xff0c;故将其再转为 PIL&＃xff0c;以下同理 ])new_img &＃61; transform(img) new_img.show()

ToTensor&＃xff1a;将shape为&＃xff08;hwc&＃xff09;的nump.ndarray或img转为shape为(chw)的tensor&＃xff0c;其将每一个数值归一化到[0,1]&＃xff0c;其归一化方法比较简单&＃xff0c;直接除以255即可。

transform &＃61; transforms.Compose([transforms.ToTensor(), # Convert a &＃96;&＃96;PIL Image&＃96;&＃96; or &＃96;&＃96;numpy.ndarray&＃96;&＃96; to tensor. ]) new_img &＃61; transform(img) print(new_img)

Resize&＃xff1a;重置图像分辨率。

size: 一个值的话&＃xff0c;高和宽共享&＃xff0c;否则对应是 (h, w)
interpolation: 插值方式默认 PIL.Image.BILINEAR
size &＃61; (100, 100) transform &＃61; transforms.Compose([transforms.Resize(size), ]) new_img &＃61; transform(img) new_img.show()

CenterCrop&＃xff1a;裁剪一定 size 的图片&＃xff0c;以图片的中心往外。

size: 一个值的话&＃xff0c;高和宽共享&＃xff0c;否则对应是 (h, w)&＃xff0c;若是该值超过原始图片尺寸&＃xff0c;则外围用 0 填充。
size &＃61; (200, 500) transform &＃61; transforms.Compose([transforms.CenterCrop(size), ])new_img &＃61; transform(img) new_img.show()

Pad&＃xff1a;填充图片的外部轮廓 PIL 数据格式。

padding&＃xff1a;填充的宽度&＃xff0c;可以是一个值、或者元组&＃xff0c;分别对应 4 个边
fill&＃xff1a;填充的值&＃xff0c;可以是一个值&＃xff08;所有通道都用该值填充&＃xff09;&＃xff0c;或者一个 3 元组&＃xff08;RGB 三通道&＃xff09; 当 padding_mode&＃61;constant 起作用
padding_mode&＃xff1a;填充的模式&＃xff1a;constant, edge&＃xff08;填充值为边缘&＃xff09;, reflect(从边缘往内一个像素开始做镜像) or symmetric&＃xff08;从边缘做镜像&＃xff09;.
padding &＃61; (10, 20, 30, 40) transform &＃61; transforms.Compose([transforms.Pad(padding, padding_mode&＃61;"symmetric"), ])new_img &＃61; transform(img) new_img.show()

RandomApply&＃xff1a;给定一定概率从一组 transformations 应用。

transform &＃61; [transforms.Pad(100, fill&＃61;(0, 255, 255)), transforms.CenterCrop(100), transforms.RandomRotation(20)] transform &＃61; transforms.Compose([transforms.RandomApply(transform, p&＃61;0.5) ])new_img &＃61; transform(img) new_img.show()

RandomChoice&＃xff1a;随机从一组变换中选择一个。

transform &＃61; [transforms.Pad(100, fill&＃61;(0, 255, 255)), transforms.CenterCrop((100, 300))] transform &＃61; transforms.Compose([transforms.RandomChoice(transform) ])new_img &＃61; transform(img) new_img.show()

RandomOrder&＃xff1a;按随机顺序应用变换列表。

transform &＃61; [transforms.Pad(100, fill&＃61;(0, 255, 255)), transforms.CenterCrop((50, 50))] transform &＃61; transforms.Compose([transforms.RandomOrder(transform) ])new_img &＃61; transform(img) new_img.show()

RandomCrop&＃xff1a;随机进行裁剪。

size
padding&＃61;None
pad_if_needed&＃61;False
fill&＃61;0
padding_mode&＃61;‘constant’
transform &＃61; transforms.Compose([transforms.RandomCrop((100, 300)) ])new_img &＃61; transform(img) new_img.show()

RandomHorizontalFlip/RandomVerticalFlip&＃xff1a;随机进行水平/竖直翻转。

transform &＃61; transforms.Compose([transforms.RandomHorizontalFlip(p&＃61;0.5),transforms.RandomVerticalFlip(p&＃61;0.5) ])new_img &＃61; transform(img) new_img.show()

RandomResizedCrop&＃xff1a;裁剪给定的 PIL 图像到随机的尺寸和长宽比。

transform &＃61; transforms.Compose([transforms.RandomResizedCrop((200, 300)) ])new_img &＃61; transform(img) new_img.show()

FiveCrop&＃xff1a;对图片进行上下左右以及中心裁剪&＃xff0c;获得5张图片&＃xff0c;返回一个4D-tensor。

UNIT_SIZE &＃61; 200 # 每张图片的宽度是固定的 size &＃61; (100, UNIT_SIZE) transform &＃61; transforms.Compose([transforms.FiveCrop(size) ])new_img &＃61; transform(img) delta &＃61; 20 # 偏移量&＃xff0c;几个图片间隔看起来比较明显 new_img_2 &＃61; Image.new("RGB", (UNIT_SIZE*5&＃43;delta, 100)) top_right &＃61; 0 for im in new_img:new_img_2.paste(im, (top_right, 0)) # 将image复制到target的指定位置中top_right &＃43;&＃61; UNIT_SIZE &＃43; int(delta/5) # 左上角的坐标&＃xff0c;因为是横向的图片&＃xff0c;所以只需要 x 轴的值变化就行new_img_2.show()

TenCrop&＃xff1a;对图片进行上下左右以及中心裁剪&＃xff0c;然后全部翻转&＃xff08;水平或者垂直&＃xff09;&＃xff0c;获得10张图片&＃xff0c;返回一个4D-tensor。

UNIT_SIZE &＃61; 200 # 每张图片的宽度是固定的 size &＃61; (100, UNIT_SIZE)transform &＃61; transforms.Compose([transforms.TenCrop(size, vertical_flip&＃61;True) ])new_img &＃61; transform(img)delta &＃61; 50 # 偏移量&＃xff0c;几个图片间隔看起来比较明显 new_img_2 &＃61; Image.new("RGB", (UNIT_SIZE*10&＃43;delta, 100)) top_right &＃61; 0 for im in new_img:new_img_2.paste(im, (top_right, 0)) # 将image复制到target的指定位置中top_right &＃43;&＃61; UNIT_SIZE &＃43; int(delta/10) # 左上角的坐标&＃xff0c;因为是横向的图片&＃xff0c;所以只需要 x 轴的值变化就行new_img_2.show()

ColorJitter&＃xff1a;随机改变图像的亮度、对比度和饱和度。

brightness&＃xff1a;亮度
contrast&＃xff1a;对比度
saturation&＃xff1a;饱和度
hue&＃xff1a;色调 0<&＃61; hue <&＃61; 0.5 or -0.5 <&＃61; min <&＃61; max <&＃61; 0.5.
transform &＃61; transforms.Compose([transforms.ColorJitter(brightness&＃61;(0, 36), contrast&＃61;(0, 10), saturation&＃61;(0, 25), hue&＃61;(-0.5, 0.5)) ]) new_img &＃61; transform(img) new_img.show()

RandomRotation&＃xff1a;依degrees随机旋转一定角度。

transform &＃61; transforms.Compose([transforms.RandomRotation(30, resample&＃61;Image.BICUBIC, expand&＃61;False, center&＃61;(100, 300)) ])new_img &＃61; transform(img) new_img.show()

RandomAffine&＃xff1a;仿射变换。

degrees&＃xff1a;旋转角度
translate&＃xff1a;水平偏移
scale:
shear: 裁剪
resample ({PIL.Image.NEAREST, PIL.Image.BILINEAR, PIL.Image.BICUBIC}, optional)
fillcolor:图像外部填充颜色 int
transform &＃61; transforms.Compose([transforms.RandomAffine(degrees&＃61;30, translate&＃61;(0, 0.2), scale&＃61;(0.9, 1), shear&＃61;(6, 9), fillcolor&＃61;66) ]) new_img &＃61; transform(img) new_img.show()

Grayscale&＃xff1a;转换图像灰度。

transform &＃61; transforms.Compose([transforms.Grayscale(num_output_channels&＃61;3) ]) new_img &＃61; transform(img) new_img_array &＃61; np.array(new_img) r, g, b &＃61; new_img_array[:, :, 0], new_img_array[:, :, 1], new_img_array[:, :, 2] print(r &＃61;&＃61; b) print("shape:", new_img_array.shape) new_img.show()
[[ True True True ... True True True][ True True True ... True True True][ True True True ... True True True]...[ True True True ... True True True][ True True True ... True True True][ True True True ... True True True]] shape: (400, 400, 3)

RandomGrayscale&＃xff1a;依概率p将图片转换为灰度图&＃xff0c;若通道数为3&＃xff0c;则3 channel with r &＃61;&＃61; g &＃61;&＃61; b。

transform &＃61; transforms.Compose([transforms.RandomGrayscale(p&＃61;0.6) ]) new_img &＃61; transform(img) print(np.array(new_img).shape) new_img.show() &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; (400, 400, 3)

RandomPerspective&＃xff1a;对给定的PIL图像以给定的概率随机进行透视变换。

transform &＃61; transforms.Compose([transforms.RandomPerspective(distortion_scale&＃61;1, p&＃61;1, interpolation&＃61;3) ]) new_img &＃61; transform(img) new_img.show()

Lambda&＃xff1a;根据用户自定义的方式进行变换。

lambd &＃61; lambda x: TF.rotate(x, 100) transform &＃61; transforms.Compose([transforms.Lambda(lambd) ])new_img &＃61; transform(img) new_img.show()