AlsoEasy-RecognitionTranslator
需求分析
见上篇[从零开始]用python制作识图翻译器·一
上篇分析了该产品的需求以及市场上的可行性&＃xff08;没有被吊打的竞品&＃xff09;。而本篇将着重于分析如何实现。
系统分析
功能拆解
我们将一整个流程细化分成以下几个步骤&＃xff0c;并分析每步涵盖的技术&＃xff0c;一步步探索其可行性。
-
划定屏幕固定区域&＃xff08;用qq截图演示效果&＃xff09;
作 用&＃xff1a;通过鼠标点击和松开确定识别区域的对角线坐标&＃xff1b;
相关技术&＃xff1a;GUI、鼠标事件、键盘热键。
-
获取固定区域图像&＃xff08;用qq截图演示效果&＃xff09;
作 用&＃xff1a;获取区域的图像以进行后续的识别操作&＃xff1b;
相关技术&＃xff1a;GUI、PIL、屏幕截图。
-
识别图中文字&＃xff08;用qq截图演示效果&＃xff09;
作 用&＃xff1a;将区域的图像中的文字识别出来&＃xff0c;作为翻译的源文字&＃xff1b;
相关技术&＃xff1a;文字识别。
-
将该文字翻译成目标语言的文字&＃xff08;用百度翻译演示效果&＃xff09;
作 用&＃xff1a;将识别的到的文字翻译为目标语言的文字&＃xff1b;
相关技术&＃xff1a;机器翻译。
-
显示在某一区域&＃xff08;用qq截图演示效果&＃xff09;
作 用&＃xff1a;将翻译的结果反馈到屏幕上&＃xff1b;
相关技术&＃xff1a;GUI、文本框。
工程语言选择
因为项目可能含有“文本识别”、“机器翻译”等人工智能方向的功能&＃xff0c;所以选择python作为基础编程语言&＃xff0c;后续的技术选择和分析会更有偏向性。
技术可行性分析
在将功能拆解以后&＃xff0c;整个产品的制作方式就变得非常清晰了&＃xff0c;现在我们只用从下至上一步步验证实现技术的可行性就行了。&＃xff08;从上到下发现最后一步翻译的技术难如登天的话那也太蛋疼了&＃xff09;
-
文字显示
稍微搜索就会发现用GUI就能实现。python的GUI有&＃xff1a;wxPython、pyQt、Tkinter……前端思维就是新建一个显示特定文字的box&＃xff0c;实现起来没什么难度。
-
机器翻译
机器翻译也是有很多种的&＃xff0c;比较古早的是基于符号系统的&＃xff0c;现在的主流方向都是人工智能方向&＃xff0c;网上有一些公开的模型&＃xff0c;一些大公司也对外开放了免费翻译API。百度的就很好用&＃xff0c;使用教程见&＃xff1a;python调用百度通用翻译API进行翻译。测试效果如下&＃xff1a;
-
文字识别
文字识别技术和机器翻译一样&＃xff0c;现在的主流方向都是人工智能方向了&＃xff0c;识别率高&＃xff0c;识别速度快&＃xff0c;网上同样有丰富的开源资源&＃xff0c;如&＃xff1a;TesseractOCR、EasyOCR、BaiduOCR、PaddleOCR……其中飞桨的PaddleOCR甚至提供了详细的模型训练的教程&＃xff1a;这是PaddleOCR在gitee上的代码仓库&＃xff0c;其中附带了详细的训练教程。测试效果如下&＃xff1a;
-
截图
用python中PIL库的ImageGrab.grab方法即可获取指定位置&＃xff0c;指定大小的矩形区域截图&＃xff08;当然必须是最顶层窗口的&＃xff0c;我没找到像腾讯会议那种直接获取进程窗口句柄的方法)。测试效果如下&＃xff1a;
-
确定矩形对角线
没想到这一步才是让我反复碰壁的。以前端思想&＃xff0c;就是在按快捷键后监听鼠标的按压和松开事件&＃xff0c;分别获取发生两个事件时的鼠标坐标就能确定要截图的矩形区域了。但是&＃xff0c;python中鼠标事件的库pyhook的版本2因安全性问题用不了了&＃xff0c;而pyhook3的python版本要求3.10以上&＃xff0c;和PaddleOCR要求的版本冲突了&＃xff0c;总之就是用不了。后面我想到一个办法&＃xff0c;可以利用GUI轻松实现&＃xff1a;在触发快捷键后&＃xff0c;直接生成一个覆盖全屏并置顶的半透明窗口&＃xff0c;通过点击这个矩形可以轻松获取当时的鼠标位置。测试效果如下&＃xff1a;
以上&＃xff0c;我们通过简单的测试确认了每一步的关键技术是可行的&＃xff0c;接下来只用着重于将各个模块实现并组合在一起即可。
具体实现
见下期&＃xff1a;[从零开始]用python制作识图翻译器·三。
京公网安备 11010802041100号