阿里天池竞赛街景字符识别准备工作

阿里天池竞赛-街景字符识别Task01&＃xff1a;赛题理解

了解比赛&＃xff0c;下载数据集

比赛链接&＃xff1a;https://tianchi.aliyun.com/competition/entrance/531795/introduction

赛题来源自Google街景图像中的门牌号数据集&＃xff08;The Street View House Numbers Dataset, SVHN&＃xff09;&＃xff0c;并根据一定方式采样得到比赛数据集。

数据集报名后可见并可下载&＃xff0c;该数据来自真实场景的门牌号。训练集数据包括3W张照片&＃xff0c;验证集数据包括1W张照片&＃xff0c;每张照片包括颜色图像和对应的编码类别和具体位置&＃xff1b;为了保证比赛的公平性&＃xff0c;测试集A包括4W张照片&＃xff0c;测试集B包括4W张照片。

运行环境及安装

Baseline的运行环境要求&＃xff1a;Python2/3&＃xff0c;Pytorch1.x&＃xff0c;内存4G&＃xff0c;有无GPU都可以。

1. 安装anaconda和python3.7 &＃xff0c;我笔记本上已经有python3.7和anaconda了&＃xff0c;只需要再安装Pytorch就可以了。
2. 安装pytorch 笔记本8G内存&＃xff0c;没有GPU&＃xff0c;是win10&＃xff0c;所以&＃xff0c;直接在anaconda navigator中搜索pytorch进行安装。
   
   安装成功&＃xff01;
   

解题思路

赛题思路分析&＃xff1a;赛题本质是分类问题&＃xff0c;需要对图片的字符进行识别。但赛题给定的数据图片中不同图片中包含的字符数量不等。有的图片的字符个数为2&＃xff0c;有的图片字符个数为3&＃xff0c;有的图片字符个数为4&＃xff0c;如下所示。


因此本次赛题的难点是需要对不定长的字符进行识别&＃xff0c;与传统的图像分类任务有所不同。解题思路供参考&＃xff1a;

简单入门思路&＃xff1a;定长字符识别

可以将赛题抽象为一个定长字符识别问题&＃xff0c;在赛题数据集中大部分图像中字符个数为2-4个&＃xff0c;最多的字符 个数为6个。
因此可以对于所有的图像都抽象为6个字符的识别问题&＃xff0c;字符23填充为23XXXX&＃xff0c;字符231填充为231XXX。

经过填充之后&＃xff0c;原始的赛题可以简化了6个字符的分类问题。在每个字符的分类中会进行11个类别的分类&＃xff0c;假如分类为填充字符&＃xff0c;则表明该字符为空。

专业字符识别思路&＃xff1a;不定长字符识别

在字符识别研究中&＃xff0c;有特定的方法来解决此种不定长的字符识别问题&＃xff0c;比较典型的有CRNN字符识别模型。
在本次赛题中给定的图像数据都比较规整&＃xff0c;可以视为一个单词或者一个句子。

专业分类思路&＃xff1a;检测再识别

在赛题数据中已经给出了训练集、验证集中所有图片中字符的位置&＃xff0c;因此可以首先将字符的位置进行识别&＃xff0c;利用物体检测的思路完成。

此种思路需要参赛选手构建字符检测模型&＃xff0c;对测试集中的字符进行识别。选手可以参考物体检测模型SSD或者YOLO来完成。

综上所示&＃xff0c;本次赛题虽然是一个简单的字符识别问题&＃xff0c;但有多种解法可以使用到计算机视觉领域中的各个模型&＃xff0c;是非常适合大家入门学习的。
三种解决思路的难度从低到高&＃xff0c;因此建议入门学习的同学可以先学习定长字符识别的思路。在文档之后的内容中我们也会以定长字符识别为例&＃xff0c;让大家逐渐入门计算机视觉。

学习baseline代码

Baseline思路&＃xff1a;将不定长字符转换为定长字符的识别问题&＃xff0c;并使用CNN完成训练和验证&＃xff0c;具体包括以下几个步骤&＃xff1a;
赛题数据读取&＃xff08;封装为Pytorch的Dataset和DataLoder&＃xff09;

构建CNN模型&＃xff08;使用Pytorch搭建&＃xff09;

模型训练与验证

模型结果预测