据麦姆斯咨询报道&＃xff0c;超市对提供准确的重量、尺寸、形状和质量的产品需求正日益增长。为满足这些需求&＃xff0c;自动收割系统必须检查如土豆、胡萝卜和西兰花等产品以上的特征&＃xff0c;以及任何缺陷和疾病的表征。
目前&＃xff0c;许多收割方法都是人工完成的。然而&＃xff0c;因为超市可能只需要特定重量的产品&＃xff0c;收集大量农作物再分类区分出哪些是适合销售的产品&＃xff0c;可能会造成浪费。
为克服这个问题&＃xff0c;分类任务可以在田间进行&＃xff0c;以便在收割之前对产品进行分级&＃xff0c;从而提高良率。
利用3D激光扫描仪、机器人、图像处理技术和深度学习软件的结合&＃xff0c;Capture Automation公司正在开发西兰花球的自动收割系统
开发用于检测、识别和测量此类产品的算法是复杂的。通常&＃xff0c;使用基于边缘的检测方法时&＃xff0c;产品必须位于图像中。在不同的环境照明条件下&＃xff0c;阴影效应会导致2D方法的失败。然而&＃xff0c;通过3D成像&＃xff0c;产品的边缘是在体积表示中定义的&＃xff0c;这样就不需要照明&＃xff0c;可以根据形状和大小挑选如生菜或西兰花球等蔬菜。
由于2D系统被校准到一个特定的平面上&＃xff0c;产品的高度不同使得用于这样的任务的2D图像处理系统更加复杂。然而&＃xff0c;通过预先校准的3D成像系统&＃xff0c;可以对产品的角度和倾斜进行分析&＃xff0c;以便在产品被拾取之前&＃xff0c;机器人可以被输入正确的角坐标&＃xff0c;这样产品不会受到损坏。
从Gocator高度图形式生成的数据产生的灰度图像&＃xff08;左&＃xff09;在像素数据越小的情况下&＃xff0c;西兰花球就越靠近摄像头&＃xff0c;反之亦然
目前&＃xff0c;该3D自动收割系统正被Capture Automation公司&＃xff08;位于英国东萨塞克斯郡赫福市&＃xff09;开发。该公司利用3D激光扫描仪、机器人、图像处理技术和深度学习软件&＃xff0c;正在开发一个西兰花球的自动收割系统。
3D激光扫描仪的优点之一是它们可以被连续地用来捕捉可以在传输过程中的图像。使用安装在拖拉机上的编码器&＃xff0c;位置坐标可以发送给机器人&＃xff0c;追踪在机器人头下移动的产品&＃xff0c;然后拾取它们。为了从移动系统获得如此精确的信息&＃xff0c;必须使用精确的编码器。在该系统的第一个原型机中&＃xff0c;一个旋转编码器轮被装在拖拉机的前部。
不幸的是&＃xff0c;这种旋转编码器轮在雨天可能打滑&＃xff0c;使系统的校准失效。为克服这个问题&＃xff0c;一种基于防滑钉的编码器被开发用来提供更精确的位置信息。
然后&＃xff0c;收割机可以根据不同的重量和大小选择不同类型的西兰花球&＃xff0c;并将不同的花球放在不同的箱子里。该系统还可以报告哪些花球可能还留在地上&＃xff0c;或可能适合后来采摘。虽然种植西兰花要花费好几个月的时间&＃xff0c;但有一个成熟或过熟的大约3天的时间窗口&＃xff0c;所以收集这样的数据是很重要的。
机器收割机进行3D扫描&＃xff0c;是将LMI Technologies公司&＃xff08;位于加拿大哥伦比亚省本那比市&＃xff09;的Gocator扫描仪安装在拖拉机前面&＃xff0c;并连接到PC主机。这种扫描仪的一个优点是多个扫描仪可以同时使用&＃xff0c;用于覆盖广阔的视野。
与定制激光/相机三角系统需要校准以确保正确的测量相比&＃xff0c;Gocator扫描仪的预校准允许系统立即提供毫米级精度的测量。Gocator扫描仪在拖拉机上以毫米/秒的速度快速运行&＃xff0c;使用来自编码器提供的信息数据&＃xff0c;允许捕捉的成像数据用于测量农作物的大小&＃xff0c;并向机器人提供正确的位置和深度信息&＃xff0c;以跟踪每一个西兰花球&＃xff0c;并在正确的时间采摘。
使用如Genicam传输层等标准的软件图像流是有益的&＃xff0c;因为它提供了选择软件进行图像分析的灵活性。在图像被捕捉后&＃xff0c;Teledyne DALSA公司&＃xff08;位于加拿大滑铁卢市&＃xff09;的Sherlock软件进行2D和3D图像处理。为检测西兰花球&＃xff0c;自定义算法被用作Sherlock软件的插件。
从Gocator高度图生成的数据产成的灰度图像&＃xff0c;像素数据越小&＃xff0c;西兰花球越接近摄像头&＃xff0c;反之亦然。使用2D算法减少一些缩放会导致西兰花球的大小类似。因此&＃xff0c;为了分类的目的&＃xff0c;没有必要使用过大或过小的西兰花球进行修正&＃xff0c;因为在这种情况下&＃xff0c;树叶或杂草可能被检测到&＃xff0c;错误率会增加。
有了这样的收割系统&＃xff0c;由于分类需要快速执行&＃xff0c;需要快速的图像处理。例如&＃xff0c;在一个拖拉机上&＃xff0c;如果操作者不完全直线行驶&＃xff0c;摄像机会在某一位置识别西兰花头&＃xff0c;但当机器人头部到达西兰花球时&＃xff0c;采摘臂就会不在适当的位置。
利用2D图像处理算法&＃xff0c;可以识别西兰花球&＃xff0c;然后3D算法可以识别西兰花球的中心。要辨识出这些西兰花球&＃xff0c;深度学习技术使用Polimago模式匹配工具进行应用&＃xff0c;是来自Stemmer Imaging&＃xff08;位于德国普赫海姆市&＃xff09;的Common VisionBlox&＃xff08;CVB&＃xff09;软件的一部分。
通常&＃xff0c;自动收割如西兰花等有机产品是困难的。有了计算机视觉&＃xff0c;许多不同的变量必须被修正并加入到系统中&＃xff0c;例如形状和口感不同的特大或特小西兰花球。
由于每一个西兰花球看起来稍有不同&＃xff0c;系统需要经过修正&＃xff0c;以确定它们到底是完美的圆形还是形状稍许不完美的。这种图像识别的最大挑战之一是将西兰花球与叶子分开&＃xff0c;因为叶子通常会与西兰花的头部混合在一起。因此&＃xff0c;必须使用许多不同的图像来修正该系统&＃xff0c;这一过程包括基于系统的拖拉机在田间识别不同类型的西兰花球的生长过程。
一旦系统确定了西兰花球&＃xff0c;它需要按大小分级。不幸的是&＃xff0c;这不是一件容易的事&＃xff0c;因为西兰花球可能部分被叶子覆盖&＃xff0c;因此叶子需要从西兰花球分离出来。利用3D成像&＃xff0c;纹理分割可以将叶子与西兰花球分离开来&＃xff0c;其结果是仅包含西兰花球数据的图像&＃xff0c;以便可以测量其直径。
使用PC上的图形用户界面&＃xff08;GUI&＃xff09;&＃xff0c;操作者可以选择哪个尺寸的西兰花球被挑选出来。在西兰花球被正确辨识出后&＃xff0c;他们的位置信息被从拖拉机上的PC发送到安装有定制采摘头的Fanuc机器人&＃xff08;位于日本忍野市&＃xff09;。那些未被选中的西兰花球可以被识别和标记&＃xff0c;以便今后分析。来源&＃xff1a;传感器网
京公网安备 11010802041100号