PaddleX数据标注与Halcon数据标注与转换

PaddleX为百度飞浆开发的一种开源的深度学习架构&＃xff0c;可用于目标检测、语义分割等任务&＃xff0c;相较于TensorFlow、Pytorch两种开源架构搭建、训练模型简单&＃xff0c;代码量少&＃xff0c;易上手。
Halcon作为一款商业机器视觉软件开发包&＃xff0c;可用于图像处理与深度学习&＃xff0c;使用效果要优于多数开源软件。
本文主要记录了在语义分割任务中PaddleX与Halcon数据标注的实现流程&＃xff0c;及在Halcon中使用PaddleX标注的数据的方法和相应代码。

PaddleX中数据标注工具为labelme&＃xff0c;labelme支持标注矩形框和多边形&＃xff0c;可分别应用于目标识别与语义分割任务&＃xff0c;且为语义分割任务标注的多边形还可应用于目标识别任务&＃xff0c;无需二次标注。
下面介绍在语义分割任务中PaddleX数据标注。

2.1Labelme数据标注

labelme运行在python环境中&＃xff0c;使用前需进行安装。

上图为labelme标注药片表面缺陷示意图&＃xff0c;标注完成后会在图片同路径下生成一个json文件&＃xff0c;文件中包含标签名、标注的多边形坐标点及原始图片base64编码。

2.2json数据转换

PaddleX中语义分割任务训练需要使用的数据包含两部分&＃xff0c;一部分为原始图片&＃xff0c;一部分为标注图片&＃xff0c;标注图片为只包含以一定颜色填充的标注区域的图片。而labelme标注后得到的是json数据&＃xff0c;因此需要进行转换&＃xff0c;在PaddleX中提供了转换工具&＃xff0c;转换命令如下&＃xff1a;

paddlex --data_conversion --source labelme --to SEG --pics ./ --annotations ./ --save_dir ./data


生成文件如下&＃xff1a;

JPEGImages文件夹中存储原始图片&＃xff0c;Annotations中存储标注图片&＃xff0c;如下&＃xff1a;

PaddleX数据标注完成。

Halcon数据标注一般使用官方给出的标注工具&＃xff1a;MVTec Deep Learning Tool&＃xff0c;该工具未集成在Halcon软件中&＃xff0c;需单独进行下载。

3.1MVTec Deep Learning Tool下载安装

官网下载地址为https://www.mvtec.com/downloads/deep-learning-tool&＃xff0c;官网提供免费下载&＃xff0c;但下载需要填写邮箱、姓名、电话等信息进行账户注册&＃xff0c;需提供真实邮箱以接收验证码。
进入下载界面后&＃xff0c;选择DEEP LEARNING TOOL最新版本即可&＃xff0c;该版本与使用的Halcon版本不存在对应关系&＃xff0c;本文下载的版本为DEEP LEARNING TOOL 22.10&＃xff0c;使用的Halcon版本为19.05。

下载后进行安装&＃xff0c;需要注意的是该工具安装界面为网页&＃xff0c;即在网页上进行软件安装&＃xff0c;安装之后打开软件&＃xff0c;主界面如下&＃xff1a;

3.2数据标注与导出

打开软件后&＃xff0c;选择创建新项目&＃xff0c;选择深度学习方法&＃xff0c;可以看到支持图像分类、对象检测、语义分割、实例分割等任务&＃xff0c;这里选择语义分割&＃xff0c;输入项目名称与保存路径进行创建。

创建项目后&＃xff0c;添加图像&＃xff0c;点击菜单栏的“图像”&＃xff0c;开始标注&＃xff1a;

首先单击标签类别旁边的加号&＃43;&＃xff0c;添加标签&＃xff0c;输入类别名称&＃xff0c;选择需要的高亮颜色。在Halcon中除自己添加的标签类别外还有一个自动生成的背景类别标签&＃xff0c;导出数据时&＃xff0c;每个未标注的像素都将属于背景。

在图片上标注时可以选择多边形或遮罩&＃xff0c;视待标注对象的性质而定&＃xff0c;其中一种方法可能更适用。 根据经验&＃xff0c;如果对象的标签由较大的边缘平整的区域组成&＃xff0c;则使用多边形&＃xff1b;如果对象较小或需要修正某现有标签&＃xff0c;则使用遮罩。但是&＃xff0c;多边形或遮罩始终可以相互转换。

完成标注后选择菜单栏的导出数据集。

导出时勾选“将图像复制到文件夹…”。

导出完成后会生成两个文件夹和一个hdict文件&＃xff0c;如下图&＃xff1a;

test_pill_images文件夹保存原始图片&＃xff0c;test_pill_labels保存标注图片&＃xff0c;需要注意的是打开标注图片后&＃xff0c;会发现标注区域不可见&＃xff0c;原因是Halcon导出时是使用标签类别的索引值如1作为灰度值填充&＃xff0c;而不像是PaddleX中以可见灰度值如128填充。

Halcon数据标注完成。

在进行语义分割时数据标注过程费时费力&＃xff0c;如果使用多个架构进行试验而只需进行一次标注&＃xff0c;那么工作效率就会大幅度提升。

4.1PaddleX标注的数据转换为Halcon标注数据

将PaddleX标注的数据转换为Halcon标注数据&＃xff0c;其实就是将PaddleX标注图片中的灰度值转换为Halcon中以标签类别的索引值写入的灰度值&＃xff0c;主要涉及到像素灰度值读写&＃xff0c;下面给出以opencv实现的python代码&＃xff0c;值得注意的是标签类别索引以1开始&＃xff0c;因为0默认为背景&＃xff1a;

def SetImagePixelValues(FilePathList):
for i in range(len(FilePathList)):
for dirpath,dirnames,filenames in os.walk(FilePathList[i]):
filenames&＃61;filter(lambda filename:filename[-4:]&＃61;&＃61;&＃39;.png&＃39;,filenames)
for filename in filenames:
img_color&＃61;cv2.imread(dirpath&＃43;"/"&＃43;filename,cv2.IMREAD_UNCHANGED)
img_gray&＃61;cv2.cvtColor(img_color,cv2.COLOR_RGB2GRAY)
imgWidth&＃61;img_gray.shape[1]
imgHeight&＃61;img_gray.shape[0]
for j in range(imgWidth):
for k in range(imgHeight):
value&＃61;img_gray[k,j]
if value > 0:
img_gray[k,j]&＃61;(i&＃43;1)
cv2.imwrite(dirpath&＃43;"/"&＃43;filename,img_gray)
print(dirpath&＃43;"/"&＃43;filename)


这里传入的FilePathList变量是存放各类标签图片的文件夹路径列表。

4.2Labelme标注的数据转换为Halcon标注数据

将labelme标注的数据转换为Halcon标注数据&＃xff0c;分为两步&＃xff0c;第一步是将json数据转换为图片数据&＃xff0c;labelme中有单个数据转换的程序示例&＃xff0c;加以改动为多个数据转换即可&＃xff0c;但程序中未显式设置转换后的标注区域灰度值&＃xff0c;所以需要进行第二步&＃xff0c;第二步即4.1节所述。
json数据转换为图片数据python代码如下&＃xff1a;

def main(JsonFilePathlist, label_name_to_value):
for i in range(len(JsonFilePathlist)):
jsonfiles&＃61;[]
jsonfilenames&＃61;[]
out_dir&＃61;JsonFilePathlist[i]
if not osp.exists(out_dir&＃43;"/images"):
os.mkdir(out_dir&＃43;"/images")
if not osp.exists(out_dir&＃43;"/labels"):
os.mkdir(out_dir&＃43;"/labels")
for dirpath,dirnames,filenames in os.walk(JsonFilePathlist[i]):
filenames&＃61;filter(lambda filename:filename[-5:]&＃61;&＃61;&＃39;.json&＃39;,filenames)
filenames01&＃61;copy.deepcopy(filenames)
jsonfilenames.extend(filenames01)
filenames&＃61;map(lambda filename:os.path.join(dirpath,filename),filenames)
jsonfiles.extend(filenames)
for j in range(len(jsonfiles)):
data &＃61; json.load(open(jsonfiles[j]))
imageData &＃61; data.get("imageData")
if not imageData:
imagePath &＃61; os.path.join(os.path.dirname(jsonfiles[j]), data["imagePath"])
with open(imagePath, "rb") as f:
imageData &＃61; f.read()
imageData &＃61; base64.b64encode(imageData).decode("utf-8")
img &＃61; utils.img_b64_to_arr(imageData)
for shape in sorted(data["shapes"], key&＃61;lambda x: x["label"]):
label_name &＃61; shape["label"]
if label_name in label_name_to_value:
label_value &＃61; label_name_to_value[label_name]
else:
label_value &＃61; len(label_name_to_value)
label_name_to_value[label_name] &＃61; label_value
lbl, _ &＃61; utils.shapes_to_label(
img.shape, data["shapes"], label_name_to_value
)
label_names &＃61; [None] * (max(label_name_to_value.values()) &＃43; 1)
for name, value in label_name_to_value.items():
label_names[value] &＃61; name
lbl_viz &＃61; imgviz.label2rgb(
label&＃61;lbl, img&＃61;imgviz.asgray(img), label_names&＃61;label_names, loc&＃61;"rb"
)
PIL.Image.fromarray(img).save(osp.join(out_dir, "images/"&＃43;jsonfilenames[j][0:-5]&＃43;".png"))
utils.lblsave(osp.join(out_dir, "labels/"&＃43;jsonfilenames[j][0:-5]&＃43;".png"), lbl)
# PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, "label_viz.png"))
# with open(osp.join(out_dir, "label_names.txt"), "w") as f:
# for lbl_name in label_names:
# f.write(lbl_name &＃43; "\n")
# logger.info("Saved to: {}".format(out_dir))
logger.info(jsonfiles[j])


这里传入的JsonFilePathlist变量是存放各类标签json文件的文件夹路径列表&＃xff0c;label_name_to_value是标签类别名称与标签类别索引的字典&＃xff0c;包括背景&＃xff0c;示例定义如下&＃xff1a;

label_name_to_value&＃61;{}
label_name_to_value["_background_"]&＃61;0
label_name_to_value["Label01"]&＃61;1
label_name_to_value["Label02"]&＃61;2
label_name_to_value["Label03"]&＃61;3
label_name_to_value["Label04"]&＃61;4
label_name_to_value["Label05"]&＃61;5
label_name_to_value["Label06"]&＃61;6
label_name_to_value["Label07"]&＃61;7
label_name_to_value["Label08"]&＃61;8

参考文档

Halcon深度学习2 – 标注工具Deep Learning Tool下载安装
如何通过labelme标注将json文件转为png的label