近几年来&＃xff0c;CRNN在计算机视觉文本识别领域取得不错成果。CRNN是一种卷积循环神经网络结构&＃xff0c;用于解决基于图像的序列识别问题&＃xff0c;特别是场景文字识别问题。CRNN网络实现了不定长验证结合CNN和RNN网络结构&＃xff0c;使用双向LSTM循环网络进行时序训练&＃xff0c;并在最后引入CTC损失函数来实现端对端的不定长序列识别&＃xff0c;

CRNN网络结构&＃xff1a;

1.卷积层

卷积&＃xff1a;提取图像特征 池化&＃xff1a;为了降维减少计算量

CRNN卷积层由标准的CNN模型中的卷积层和最大池化层组成&＃xff0c;自动提取出输入图像的特征序列。与普通CNN网络不同的是&＃xff0c;CRNN在训练之前&＃xff0c;先把输入图像缩放到相同高度&＃xff08;图像宽度维持原样&＃xff09;&＃xff0c;论文中使用的高度值是32。

论文中该CNN结构输出的特征图大小为  &＃xff0c;若输入图片高度为32&＃xff0c;宽度为100&＃xff0c;则特征图的大小为&＃xff08;1&＃xff0c; 24&＃xff0c; 512&＃xff09;。这个结果可以认为图片从左到右被分割成了24块&＃xff0c;每块大小的特征维度为512。

提取的特征序列中的向量是从特征图上从左到右按照顺序生成的&＃xff0c;每个特征向量表示了图像上一定宽度上的特征&＃xff0c;论文中使用的这个宽度是1,就是单个像素。

2.循环层

转录就是 RNN​ 对每个像素的预测转换为标签序列的过程。

CRNN的循环层由一个双向LSTM循环神经网络构成&＃xff0c;预测特征序列中的每一个特征向量的标签分布&＃xff08;真实结果的概率列表&＃xff09;&＃xff0c;循环层的误差被反向传播&＃xff0c;最后会转换成特征序列&＃xff0c;再把特征序列反馈到卷积层&＃xff0c;这个转换操作由论文中定义的“Map-to-Sequence”自定义网络层完成&＃xff0c;作为卷积层和循环层之间连接的桥梁。

LSTM&＃xff08;长短期记忆网络&＃xff09;则是一种特殊结构的RNN&＃xff0c;用于解决RNN的长期依赖问题&＃xff0c;普通RNN会出现“梯度消失”或“梯度爆炸”的问题&＃xff0c;不能获取更多上下文信息&＃xff0c;所以 CRNN 中使用的是 LSTM&＃xff0c;允许捕获长距离依赖。LSTM单元由输入门、遗忘门和输出门组成。

RNN原理参考&＃xff1a;水很深的深度学习-Task05循环神经网络RNN_GoAl的博客-CSDN博客

LSTM原理参考&＃xff1a;LSTM原理介绍_GoAl的博客-CSDN博客

3.转录层

CTC一般连接在RNN网络的最后一层用于序列学习和训练。对于一段长度为T的序列来说&＃xff0c;每个样本点t&＃xff08;t远大于T&＃xff09;在RNN网络的最后一层都会输出一个softmax向量&＃xff0c;表示该样本点的预测概率&＃xff0c;所有样本点的这些概率传输给CTC模型后&＃xff0c;输出最可能的标签&＃xff0c;再经过去除空格&＃xff08;blank&＃xff09;和去重操作&＃xff0c;就可以得到最终的序列标签。

CRNN完整网络结构图&＃xff1a;

从整个网络中可以看出&＃xff0c;卷积层是由一系列的卷积、最大池化、批量归一化等操作组成&＃xff0c;由标准的CNN模型中的卷积层和最大池化层组成&＃xff0c;结构类似于VGG网络。

CRNN模型计算公式&＃xff1a;

CRNN模型计算详细流程&＃xff1a;

4.CTC原理介绍

CTC是一种Loss计算方法&＃xff0c;用CTC代替Softmax Loss&＃xff0c;训练样本无需对齐。引入blank字符&＃xff0c;解决有些位置没有字符的问题,通过递推&＃xff0c;快速计算梯度。

以下以apple单词为例&＃xff0c;引入“-”符号&＃xff0c;解释CTC网络是如何展开路径进行计算的。 

路径展开原则&＃xff1a;&＃xff08;如图中5点&＃xff09;

CTC训练流程和传统的神经网络类似&＃xff0c;构建损失函数&＃xff0c;然后根据BP算法进行训练&＃xff0c;不同之处在于传统的神经网络的训练准则是针对每帧数据&＃xff0c;即每帧数据的训练误差最小&＃xff0c;而CTC的训练准则是基于序列的&＃xff0c;比如最大化 p(l|x) &＃xff0c;序列化的概率求解比较复杂&＃xff0c;因为一个输出序列可以对应很多的路径&＃xff0c;所有引入前后向算法来简化计算。

前向概率&＃xff1a;

 后向概率&＃xff1a;

 计算CTC Loss:

CTC原理参考&＃xff1a;

一文读懂CRNN&＃43;CTC文字识别 - 知乎

【Learning Notes】CTC 原理及实现_丁丁的博客-CSDN博客_ctc实现

CTC&＃xff08;Connectionist Temporal Classification&＃xff09;介绍 - PilgrimHui - 博客园

5.CRNN模型训练&＃xff1a;

在模型训练过程中&＃xff0c;首先使用标准的CNN网络提取文本图像的特征&＃xff0c;再利用BLSTM将特征向量进行融合以提取字符序列的上下文特征&＃xff0c;然后得到每列特征的概率分布&＃xff0c;最后通过转录层(CTC)进行预测得到文本序列。其具体模型训练流程为&＃xff1a;

1.将输入图像统一缩放至32*W*3。
2.利用CNN提取后图像卷积特征&＃xff0c;得到的大小为&＃xff1a;1*W/4*512。
3.通过上述输入到LSTM提取序列特征&＃xff0c;得到W/4*n后验概率矩阵。
4.利用CTC损失&＃xff0c;实现标签和输出一一对应&＃xff0c;进行训练。

6.CRNN&＃43;CTC总结

CRNN将CNN/LSTM/CTC三种方法结合&＃xff1a;提供了一种end2end文本行图片算算法。

&＃xff08;1&＃xff09;CNN提取图像卷积特征

&＃xff08;2&＃xff09;LSTM进一步提取图像卷积特征中的序列特征

&＃xff08;3&＃xff09;引入CTC解决训练时字符无法对齐的问题

优点&＃xff1a;

• 可以直接从序列标签学习&＃xff0c;不需要详细的标注
• 具有直接从图像数据学习信息表现的DCNN的相同性质&＃xff0c;既不需要手工特征也不需要预处理步骤&＃xff0c;包括实体化/分割&＃xff0c;组件定位等;
• 具有 RNN 相同的性质&＃xff0c;能够产生一系列标签
• 对类序列对象的长度无约束&＃xff0c;只需要在训练阶段和测试阶段对高度进行归一化
• 比标准 DCNN​ 模型包含的参数要少的多&＃xff0c;占用更少的存储空间

7.CRNN实战&＃xff1a;

【AI实战】手把手教你文字识别&＃xff08;识别篇&＃xff1a;LSTM&＃43;CTC, CRNN, chineseocr方法&＃xff09; - 雪饼的个人空间 - OSCHINA - 中文开源技术交流社区文字识别是AI的一个重要应用场景&＃xff0c;文字识别过程一般由图像输入、预处理、文本检测、文本识别、结果输出等环节组成。 其中&＃xff0c;文本检测、文本识别是最核心的环节。文本检测方面&＃xff0c;在前面的文章中已介绍过了多种基于深...https://my.oschina.net/u/876354/blog/3070699