利用PaddleSharp模块在C#中实现图像文字识别功能测试

  PaddleSharp是PaddleInference C API的C#封装版本&＃xff0c;支持在 Windows(x64)、NVIDIA GPU和Linux(Ubuntu-20.04 x64)中使用。PaddleShare主要包括PaddleOCR 和PaddleDetection&＃xff0c;其中PaddleOCR 支持14种语言的文字&＃xff0c;支持识别多种旋转角度的文字&＃xff0c;PaddleDetection支持PPYolo检测模型和PicoDet模型&＃xff08;关于PaddleSharp的详细介绍见参考文献1&＃xff09;。
  可以通过NuGet管理器下载PaddleSharp相关的包&＃xff0c;最开始以为包名是以PaddleSharp开头&＃xff0c;结果在NuGet管理器中什么都搜不到&＃xff0c;在GitHub的PaddleSharp主页中&＃xff0c;列出了PaddleSharp相关的包清单&＃xff08;如下图所示&＃xff09;&＃xff0c;其都以Sdcb开头&＃xff0c;这些包在NuGet管理器中都可以搜索安装。

  本文主要测试用C#调用PaddleSharp的PaddleOCR进行图片文字识别&＃xff0c;参考文献2的PaddleOCR使用说明中列出了要安装的包清单&＃xff0c;在VS中安装以下包&＃xff08;最初不想装这么多&＃xff0c;就只安装了Sdcb.PaddleOCR&＃xff0c;虽然程序可以编译通过&＃xff0c;也可以运行&＃xff0c;但是识别图片文字过程中会一直提示缺少下拉包清单中的某些&＃xff0c;最终要想正常识别图片文字&＃xff0c;还是需要把下面这些包都装全&＃xff09;。

Sdcb.PaddleInference
Sdcb.PaddleInference.runtime.win64.mkl
Sdcb.PaddleOCR
Sdcb.PaddleOCR.KnownModels
OpenCvSharp4
OpenCvSharp4.runtime.win


  参照参考文献2中的示例代码进行功能测试&＃xff08;详细代码请到文献中查看&＃xff0c;这里就不贴出来了&＃xff09;&＃xff0c;其代码顺序主要是加载模型->加载图片->识别文字->显示结果。这里主要说一下跟使用PaddleOCRSharp的不同点&＃xff0c;由于都是简单测试&＃xff0c;说的都是比较简单的。
  PaddleOCRSharp和PaddleSharp都是其它语言编写的ocr功能的C#封装版本&＃xff0c;相比之下PaddleOCRSharp封装的更简单一些。通过NuGet安装PaddleOCRSharp&＃xff0c;会把依赖文件自动下载并关联到项目上&＃xff0c;而PaddleSharp需要手动安装所有需要的包。
  PaddleOCRSharp执行所需的模型在安装包时同步下载并关联到项目上&＃xff0c;而PaddleSharp&＃xff0c;从测试代码来看&＃xff0c;其默认从C:\Users\HP\AppData\Roaming\paddleocr-models\ppocr-v2文件夹中读取所需的模型&＃xff0c;如果不存在&＃xff0c;则实时从网上下载的,OCRModel对象中记录了各类模型的下载路径&＃xff08;实际执行过程中&＃xff0c;由于下载速度一般&＃xff0c;直接用迅雷手动下载并复制到对应文件夹中&＃xff09;。

OCRModel model &＃61; KnownOCRModel.PPOcrV2;
await model.EnsureAll();


  还有就是识别图片文字时&＃xff0c;PaddleOCRSharp封装了一下&＃xff0c;只需在程序中指定图片路径、图片字节数组或Image对象即可&＃xff0c;而PaddleSharp识别图片的函数&＃xff0c;PaddleOcrAll.Run&＃xff0c;需要将图片转成指定的Mat对象。
  PaddleSharp识别的结果包括两类&＃xff0c;PaddleOcrResult.Text中将识别出的所有文字合并为一个字符串&＃xff0c;PaddleOcrResult.Regions中保存识别出的每个文本块。
  文本块类型为PaddleOcrResultRegion&＃xff0c;其中Rect&＃xff08;类型为RotatedRect&＃xff09;保存包含文本的矩形位置信息&＃xff08;该矩形可能是非水平或垂直的&＃xff09;。RotatedRect类的定义如下图所示&＃xff0c;其中BoundingRect函数返回包含旋转矩形的矩形。以下面的图片为例PaddleOcrResultRegion.Rect为红色矩形&＃xff0c;而BoundingRect&＃xff08;&＃xff09;返回的是紫色矩形。同时RotatedRect类的Points函数返回旋转矩形的四个角的点位置信息&＃xff0c;可以通过绘制线条方式绘制包含文本的旋转矩形&＃xff0c;这样简单一些。


  最后列出测试图片的识别效果&＃xff08;使用参考文献中的示例代码&＃xff0c;文本块基本都圈出来了&＃xff0c;但其中的内容有部分没有正确识别&＃xff09;。

参考文献
[1]https://github.com/sdcb/PaddleSharp
[2]https://github.com/sdcb/PaddleSharp/blob/master/docs/ocr.md

测试图片来源
[1]https://baijiahao.baidu.com/s?id&＃61;1676249081188736513&wfr&＃61;spider&for&＃61;pc
[2]https://www.xjauto.net/html/cheping/202105/69508.html
[3]https://item.jd.com/10041422363991.html?openbpab&＃61;dontwriteCOOKIE&uabt&＃61;92_16_21&cu&＃61;true&utm_source&＃61;image.baidu.com&utm_medium&＃61;tuiguang&utm_campaign&＃61;t_1003608409_&utm_term&＃61;1a1dd3a2f0b24eaab2325b16b12d3d8d
[4]http://news.sohu.com/a/524033869_121124363