一年多以前我脑子一热&＃xff0c;想做一款移动应用&＃xff1a;一款给学生朋友用的“错题集”应用&＃xff0c;可以将错题拍照&＃xff0c;记录图像的同时&＃xff0c;还能自动分类。比如拍个题目&＃xff0c;应用会把它自动分类为”物理/力学/曲线运动”。

当然&＃xff0c;这个项目其实不靠谱&＃xff0c;市场上已经有太多“搜题”类应用了。但过程很有趣&＃xff0c;导致我过了一年多&＃xff0c;清理磁盘垃圾时&＃xff0c;还舍不得删掉这个项目的“成果”&＃xff0c;所以干脆回收利用一下&＃xff0c;写篇文章圈圈粉。

源码地址&＃xff1a;

https://github.com/caoym/odr

这个项目&＃xff0c;核心要解决的问题就是文本分类。所以最初想到的方案是先 OCR 图片转文本&＃xff0c;然后分词&＃xff0c;再计算 tf-idf&＃xff0c;最后用 SVM 分类。但这个方案的问题是&＃xff1a;开源 OCR 普遍需要自己训练&＃xff0c;且需要做大量的优化、调校和训练&＃xff0c;才能在中文识别上有不错的效果&＃xff0c;加上图像上还会有公式、几何图形&＃xff0c;这些特征也会决定分类&＃xff0c;这又提高了对 OCR 的要求。

所以我最终选择的方案是&＃xff0c;不使用 OCR&＃xff0c;而是直接从图像中寻找有区分性的、鲁棒的特征&＃xff0c;作为视觉词汇。之后再通过传统文本分类的方法&＃xff0c;训练分类器。

下面将展示整个训练过程&＃xff0c;训练的样本来自《2016 B版 5年高考3年模拟:高考理数》&＃xff0c;并手工标注了14个分类&＃xff0c;每个分类下约50个样本&＃xff0c;每个样本为一个题目, 图像为手机拍摄。

样本数据下载地址&＃xff1a;

https://github.com/caoym/odr

测试集上正确率81%&＃xff0c;召回率 78%。个别分类正确率较低&＃xff0c;可能是因为样本数太少&＃xff0c;另外训练过程大多使用默认参数&＃xff0c;若进行细致调校&＃xff0c;应该还有提高空间。

5. 结束

此项目完整代码及样本数据均可下载&＃xff0c;地址为&＃xff1a;

https://github.com/caoym/odr

任何想在实际项目中使用此方法的朋友请注意&＃xff0c;以上方法目前只在一个样本库中测试过&＃xff0c;在其他样本库中表现如何还不知道&＃xff0c;但愿没把你带坑里。

---

点击左下角“阅读原文”&＃xff0c;可解锁更多作者的文章

还可以直接参与讨论~

量子位特约稿件&＃xff0c;转载请联系原作者。

— 完 —