PaddleOCR数字仪表识别——3.(New)PaddleOCR迁移学习

安装
参考百度PaddleOCR的快速安装&＃xff0c;记得提前安装gcc就行。&＃xff08;参考PaddleOCR数字仪表识别——3.paddleocr迁移学习3.1部分&＃xff09;

1.1 数据集

参考PaddleOCR数字仪表识别——2(New). textrenderer使用及修改使之符合PaddleOCR数据标准

1.2 字典

PaddleOCR提供了一些默认的字典&＃xff0c;位置&＃xff08;PaddleOCR/ppocr/utils/dict/&＃xff09;比如

ppocr/utils/ppocr_keys_v1.txt 是一个包含6623个字符的中文字典&＃xff0c;
ppocr/utils/ic15_dict.txt 是一个包含36个字符的英文字典&＃xff0c;
ppocr/utils/dict/french_dict.txt 是一个包含118个字符的法文字典
ppocr/utils/dict/japan_dict.txt 是一个包含4399个字符的法文字典


字典的格式也很简单&＃xff0c;就是一个txt文件&＃xff0c;每行一个字符&＃xff08;会自动 id-char映射&＃xff09;

我的项目只需要进行数字识别&＃xff0c;所以字典就是0-9这10个数字。然后把自己的文件放到上面同样的目录里去&＃xff0c;这里存在一个坑

根据PaddleOCR Q&A部分

所以修改字典后&＃xff0c;其实就不是迁移学习了&＃xff0c;而是重新训练

2.1 确定模型和对应的配置文件

之前训练使用的预训练模型是&＃xff1a;

配置文件用的是&＃xff1a;

之前是2400张图&＃xff0c;训练了1000次&＃xff0c;在测试集上准确率都是1了。

2.1.1 选择的模型

根据 PaddleOCR-算法介绍部分的文档

推荐使用CRNN&＃xff08;考虑到稳定性&＃xff09;&＃xff0c;还是使用CRNN&＃xff0c;CRNN支持的配置文件也最多&＃xff0c;这次用下面的这个试试看&＃xff08;骨干网络变了&＃xff0c;准确率高了3%左右&＃xff09;&＃xff1a;

下载并解压该模型

cd PaddleOCR/
# 下载MobileNetV3的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/rec_r34_vd_none_bilstm_ctc.tar
# 解压模型参数
cd pretrain_models
tar -xf rec_r34_vd_none_bilstm_ctc.tar && rm -rf rec_r34_vd_none_bilstm_ctc.tar


查看解压后的文件夹&＃xff0c;有三个文件

(py37) root&＃64;hsh:XXXX$ ls
best_accuracy.pdmodel best_accuracy.pdopt best_accuracy.pdparams


2.1.2 选择的配置文件

可选的配置文件有&＃xff1a;

大概看一下三者的区别&＃xff0c;确实挺多参数不一样的&＃xff0c;选一个和自己最靠近的&＃xff0c;这样改的少一点&＃xff08;反正模型都是那个&＃xff09;

参考&＃xff1a;PaddleOCR-可选参数列表

最终决定选择rec_chinese_common_train_v1.1.yml这个&＃xff0c;因为这个看起来略复杂一点&＃xff0c;而且跟我之前使用的配置文件最后学习率那块比较像。

rec_chinese_common_train_v1.1.yml修改后如下
&＃xff08;注意 yml每个字段冒号后面加个空格 再跟着值 &＃xff09;
我这里只训练300轮

Global:use_gpu: falseepoch_num: 300save_model_dir: ./output/rec_CRNN_r34image_shape: [3, 32, 200]eval_batch_step: 500max_text_length: 8character_dict_path: ./ppocr/utils/num_dict.txtdistort: false #是否使用数据增强&＃xff0c;只有gpu才支持&＃xff0c;如果是cpu的话&＃xff0c;写true也白搭&＃xff0c;还会多给一个warning信息 reader_yml: ./configs/rec/rec_chinese_reader.yml# reader文件也要修改 后面再改pretrain_weights: ./pretrain_models/rec_r34_vd_none_bilstm_ctc/best_accuracytotal_epoch: 300# total_epoch 总共迭代多少个epoch, cosine_decay/cosine_decay_warmup时有效 默认值1000 与Global.epoch_num 一致


rec_chinese_reader.yml修改后如下

#trainreader
img_set_dir: ./train_data/num_data
label_file_path: ./train_data/num_data_02/train.txt
#evalreaderimg_set_dir: ./train_data/num_datalabel_file_path: ./train_data/num_data_02/test.txt


2.2 训练及评估

2.2.1 训练

> export CPU_NUM&＃61;1
> python3 tools/train.py -c configs/rec/ch_ppocr_v1.1/rec_chinese_common_train_v1.1.yml 2>&1 | tee train_rec.log
# 如果要查看完整的训练记录信息可以去这个log文件里看
# 然后再决定使用哪个模型去进行推理/测试


运行第二条命令后&＃xff0c;会弹出一大堆提示说明信息
&＃xff08;这个模型比上次的要复杂许多&＃xff0c;而且训练数据量翻了五倍。。从2400→10240 虽然训练次数从1000→300&＃xff0c;但是每轮训练的时间变长了&＃xff0c;从3-5分钟→35分钟&＃xff0c;翻了7倍多。。&＃xff09;
出了一个训练结果就证明配置各种都没错&＃xff0c;等它自己慢慢跑吧&＃xff0c;关了。

然后还是按照之前训练时候使用screen的方式

screen -S train
# 然后在这里执行要训练的脚本
python3 XXX
# 然后
screen -d train #就是把这个会话从attached变成deattached 挂起
# 快捷键是 ctrl&＃43;a d 然后会提示类似下面的文字
[detached from 70971.train]
# 之后要恢复到这个会话就是
screen -r train # 训练结束要结束这个会话的话 进入这个会话中 输入
exit


由于训练过程中命令行基本失效&＃xff08;输入无响应&＃xff09;&＃xff0c;所以还是用快捷键来完成。

最常用的就是
screen -d XXX挂起XX这个会话
screen -r XXX 恢复XX这个会话

2.2.2 运行过程

速度不是一般的感人&＃xff0c;哈哈哈。

我想有台GPU服务器&＃xff0c;一天过去了&＃xff0c;哈哈哈

两天了&＃xff0c;才epoch10.。。。。要30呢&＃xff0c;哎。。。但是开始有准确率了
算是个好事吧&＃xff08;希望后面会快一点&＃xff1f;&＃xff1f;&＃xff1f;&＃xff09;

这个准确率上升的速度&＃xff0c;可怕&＃xff0c;早知道就不训练300轮了&＃xff0c;100轮可能都够了

这个已经很低了。。。。基本可以考虑终止训练了&＃xff0c;先把上面那个模型保存一下好了。
一直到epoch 29&＃xff0c;acc都是1了&＃xff0c;但是loss却慢慢变高了。。。上图可以看到epoch21的时候 loss才40多&＃xff0c;但是到了epoch30的时候&＃xff0c;loss就变成378多了&＃xff0c;开始上升了&＃xff0c;&＃xff0c;&＃xff0c;尴尬
打开目录才发现&＃xff1a;原来不是覆盖式的保存&＃xff0c;&＃xff08;只有best_accuracy这个文件是覆盖式保存&＃xff0c;但是训练的会保存&＃xff0c;每3个epoch保存一次 是由这个参数 save_epoch_step 设置模型保存间隔 3 控制的。&＃xff09;

也是按照epoch次数保存的

2.2.3 问题

经过同事大佬指点后&＃xff0c;大概发现了问题是&＃xff1a;PaddleOCR如果修改了待识别的字符词典&＃xff0c;即网络的最后一层分类数被修改&＃xff0c;则根据PaddleOCR中的Q&A&＃xff0c;其实网络就重新训练了&＃xff0c;不是迁移训练了。所以对于CRNN网络&＃xff0c;使用几千张图去训练一个模型&＃xff0c;很容易就过拟合了&＃xff0c;包括这次使用了2w张图片&＃xff0c;其实也没差。
因为可以看到&＃xff0c;其他那些被公开出来的文字识别模型都是几十万图片训练的。。。

所以要考虑的是&＃xff1a;如何使用PaddleOCR实现真正的迁移训练。之后的内容参考
3. 我又来撞南墙了

2.3 预测部署

2.3.1 基于Python脚本预测引擎推理

主要涉及到模型的转换&＃xff0c;checkpoint模型转换成inference模型&＃xff0c;推理会更快&＃xff0c;主要参考PaddleOCR文档-基于Python预测引擎推理

3.1 心理建设

• 根据如何评价百度开源的深度学习框架 Paddle?目测下来&＃xff0c;给好评的都是白嫖GPU算力和简单使用的&＃xff0c;给差评的都是自己用起来不方便的&＃xff0c;情况不对就弃坑&＃xff0c;期望PaddlePaddle一直在发展。

• 根据一文带你看懂PaddleHub :paddlehub是支持预训练模型的Fine-Tune的&＃xff0c;但是目前官网上支持Fine-Tune的模型里并没有PaddleOCR的。

3.2 挖掘Github信息

• github-PaddleHub&＃xff1a;稍微看了下github上的issue&＃xff0c;很多人也反映迁移学习/Fine-Tune的效果很差。。果然还是因为这个是假的迁移学习&＃xff0c;其实是重新训练的&＃xff0c;数据量小根本满足不了那么复杂的模型。
• Github上的问题&＃xff0c;一个一个检查(百度确实回复的很及时&＃xff0c;但是没有解决根本问题&＃xff0c;态度是好的&＃xff0c;结果。。。。)

  1. 关于识别中预训练模型问题 #910:我的配置文件里指明了预训练模型了&＃xff0c;训练的时候也确实读了&＃xff0c;但是。。。。前面的层确实是没有冻结&＃xff0c;是重新训练的。

  2. 如何对检测模型finetune&＃xff0c;比如冻结前面的层或某些层使用小的学习率学习&＃xff1f;&＃xff1a;这个问题好啊&＃xff0c;虽然我还是看不懂&＃xff0c;可能要多试试。

  3. 关于CRNN 识别模型在 icdar2015 数据集训练问题 #1001&＃xff1a;反正没有下文了。。

  4. SRN训练从epoch0到epoch1时loss突然变大很多&＃xff0c;正常吗&＃xff1f;
     #861
     

  5. 我用srn的配置文件进行训练&＃xff0c;训练acc已经到93&＃xff0c;但是验证acc是0&＃xff0c;这是怎么回事呢 #853 看了下我的&＃xff0c;我训练的测试集到1 训练集0.98了&＃xff0c;上面这个哥们可能配置有问题。
     

  6. 如何通过hub serving 的方式使用1.1版本的推理模型? #825

  7. 是否可以使用paddlehub的fintune接口对paddleOCR的超轻量模型进行finetune #823&＃xff1a;所以这个paddleHub似乎用的人多一些
     

  8. 中文训练速度问题#819&＃xff1a;这其实就是经验呀&＃xff0c;训练样本如果够复杂&＃xff0c;就不需要太多的distort数据增强。
     

  9. 关于识别率的问题 #787
     
     

  10. gpu测试和cpu测试结果不一样 #684&＃xff1a;这个说到了部署&＃xff0c;集成的HubServing

  11. 通用中文识别模型数据问题 #656:

  12. 未转为inference的识别模型识别效果完美。但一转为inference之后用predict_rec识别就出现大量的nan
      &＃xff1a;感觉这几个工程师天天在改BUG&＃xff0c;哈哈哈
      

  13. 识别训练数据集不平衡问题 #876&＃xff1a;所以用这个项目的人里也是有一些大佬的。。。

  14. 模型推理生成的图片与正确图不一致 #869:大家的错误真的是可爱
      

  15. 模型转换前后效果相差巨大 #862

  16. 请问如果我只需要识别出超过图片一定比例的文字&＃xff0c; 应该修改模型的那些参数呢 #846&＃xff1a;只是需要负责项目的人告诉我们修改相应功能实现的代码在哪里

  17. How to visual the model structure #845

  18. 语义词典纠错 #837:&＃xff1a;人在解答面对自己花功夫思考的问题时&＃xff0c;回复总是详尽可靠的。

  19. 【请教】检测和识别面板上的数字效果很差。 #709&＃xff1a;这个人的场景和我的很相似&＃xff0c;

  20. 分别对检测和识别模型进行finetune后&＃xff0c;如何使用paddleocr.py文件完成测试呢&＃xff1f; #702

• PaddleHub教程合集

• 目前可以找到的关于PaddleOCR训练的东西&＃xff1a;

  • X死路 AI studio-PaddleOCR&＃xff1a;中文场景文字识别&＃xff1a;这个干的事情基本和我之前一样&＃xff0c;只是全部在jupyter上&＃xff0c;看起来比我清晰很多&＃xff0c;哎。
    • 试试看好了&＃xff0c;看在百度提供的GPU上跑一边要多久&＃xff0c;然后报错了。。。即便用GPU&＃xff0c;算了
  • 惊喜Surprise-Paddle2.0-OCR实现验证码识别(CTC):不是迁移学习&＃xff0c;1w长图片&＃xff0c;训练出的模型&＃xff0c;虽然生产的是验证码图片&＃xff0c;但是贵在数量多啊。 虽然验证码图片也是从别人网站爬的&＃xff0c;但是给我了一点启发&＃xff0c;与其用那个textRenderer&＃xff0c;还不如我自己写一个呢&＃xff0c;封装可能没那么好&＃xff0c;但是起码我改或者加功能都很方便。
    • 自己试了试&＃xff0c;感觉还不错 https://aistudio.baidu.com/aistudio/usercenter

感触

Github上的维护人员测试了一些模型&＃xff0c;发布上去了&＃xff0c;但是用户自己疏忽不按照操作&＃xff0c;出了一些需要复现才明白的错误&＃xff0c;去问&＃xff0c;服务真的是件很难的事情哦。况且神经网络就是黑盒&＃xff0c;难道不只能说一些可能的结果吗&＃xff1f;

1. 提问者中文&＃xff0c;回复就是中文&＃xff0c;提问者英文&＃xff0c;回复就是英文&＃xff0c;真是难为程序员了。