双车组三轮图像处理总结：18cm三轮摄像头图像处理

 

前言

或许是有幸&＃xff0c;参加了第十五届智能车竞赛&＃xff0c;在这一年里&＃xff0c;经历了很多&＃xff0c;少有满意&＃xff0c;认识了很多人&＃xff0c;感谢相识。
比赛将要结束&＃xff0c;我也将离智能车越来越远。但毕竟也曾热爱、付出过&＃xff0c;希望能把我的一些经验写下来&＃xff0c;至少留下一个痕迹&＃xff0c;也能给一些准备比赛或像参加比赛的选手提供一些帮助。

可能由于疫情原因&＃xff0c;比赛不仅提前了&＃xff0c;而且准备时间还相比之前减少了很多&＃xff0c;因此第十五届智能车竞速赛的赛道元素相比去年删去了一些&＃xff0c;而仅仅新加了一个车库元素。因此&＃xff0c;在图像方面&＃xff0c;负担减轻了很多。

车模基本参数&＃xff1a;

车模&＃xff1a;F车模
摄像头&＃xff1a;130°普通无畸变摄像头
高度&＃xff1a;摄像头镜面中心高度18.5cm
前瞻&＃xff1a;前瞻2.5-3m

一.扫线方式

感谢聪聪在八领域方面的帮助&＃64;zcc。八领域实现原理在网上可以很容易找到&＃xff0c;不再赘述。

主要讲一讲我是如何使用八领域的。

1.寻找赛道

1&＃xff09;种子寻找

定一个底行初始位置&＃xff0c;从中间分别向两边寻找边线的种子。

2&＃xff09;八领域寻线

利用八领域&＃xff0c;由种子生长出整条边界。

3&＃xff09;在边界中提取边线

通过遍历八领域得到的连续边界&＃xff0c;提取出用于计算中值的边线。

图中&＃xff0c;左边蓝线与右边绿线为每行的边线&＃xff0c;下图为分离图&＃xff1a;

4&＃xff09;计算中值

2.赛道信息提取

1&＃xff09;边界生长方向信息

可以把领域的生长方向记录下来&＃xff0c;作为边界的特征之一

2&＃xff09;拐点的寻找

【①直角型拐点】

直角型拐点的特征较为明显&＃xff0c;边界在直角的顶点会急剧转向接近90°的另一个方向&＃xff0c;常出现在十字中。
拿十字举例&＃xff1a;

• 二值图&＃xff1a;

^{▲ 二值图}

• 边界图&＃xff1a;

^{▲ 边界图}

• 搜索边界方向&＃xff1a;

可以通过边界生长方向的变化来寻找&＃xff1a;

^{▲ 搜索边界方向}

• 搜索斜率突变&＃xff1a;

或者通过斜率的突变来寻找&＃xff1a;

^{▲ 通过斜率来搜索}

【②圆弧形拐点】

因为赛道弯曲形成的拐点&＃xff0c;回拐的程度较小&＃xff0c;常出现在弯道或环岛中。拿小弯举例&＃xff1a;

• 二值图&＃xff1a;

^{▲ 二值图}

• 边界图&＃xff1a;

^{▲ 边界图}

• 拐点位置&＃xff1a;

^{▲ 拐点位置}

3&＃xff09;边界的方差&＃xff08;或绝对值&＃xff09;计算

【①最小二乘法】

这里使用最简单的拟合一次函数曲线的最小二乘法&＃xff0c;网上很多教程与实例&＃xff0c;不再赘述。

用最小二乘法拟合出的直线计算与边界像素点的方差&＃xff08;或绝对值&＃xff09;

如图所示&＃xff0c;可以直观看出像素点偏移直线程度。

4&＃xff09;边界的斜率

由最小二乘法得到的一次函数得到边界的总体斜率。

二.赛道元素判断

1.正如十字元素

也就是正入十字。

1&＃xff09;判断条件

• 二值图&＃xff1a;

^{▲ 二值图}

• 边界图&＃xff1a;

^{▲ 边界图}

判断步骤&＃xff1a;

① 找到左前拐点
②左边线向左横向生长像素点较多
③找到右前拐点
④右边线向右横向生长像素点较多

2&＃xff09;拉线处理

【①十字前】

分别将左右前后两个拐点相连&＃xff1a;

 

【②十字中】

找到两个后拐点&＃xff0c;利用最小二乘法前拉边线&＃xff1a;

 

2.斜入十字&＃xff08;举一种情况&＃xff09;

1&＃xff09;判断条件

• 二值图&＃xff1a;

^{▲ 二值图}

• 边界图&＃xff1a;

^{▲ 边界图}

判断步骤&＃xff1a;

①找到右前拐点
②右前边界向右横向生长的点数较多
③找到右后拐点
④找到左后拐点

2&＃xff09;拉线处理

①将右边两个拐点相连

②利用最小二乘法前拉左后拐点高行的直线

^{▲ 拉线处理的过程}

3.环岛元素

1&＃xff09;判断条件

以左环岛为例。

• 二值图&＃xff1a;

^{▲ 二值图}

• 边界图&＃xff1a;

^{▲ 边界图}

判断步骤&＃xff1a;

①左拐点
②左前边线横向生长的点较多
③右边界从底行到高行为直线&＃xff0c;方差很小
判断条件较为简单&＃xff0c;如果不放心&＃xff0c;可以再提取左上圆环特征。

2&＃xff09;拉线处理

整个环岛处理为一个状态机&＃xff0c;大致拉线如下&＃xff1a;

① 左前直角型拐点与左后圆弧形拐点相连

② 左后圆弧形拐点拉线

③ 入环拐点拉到右边低行

④ 内正常边线

⑤ 开始出环先拉右线

⑥ 左后拐点与左前边线起始处相连

⑦ 二乘法将左后拐点拟线前拉

4.车库元素-入车库

1&＃xff09;判断条件

• 二值图&＃xff1a;

^{▲ 二值图}

• 边界图&＃xff1a;

^{▲ 边界图}

判断步骤&＃xff1a;

①找到左前拐点
②右边界为直线&＃xff0c;方差较小
③扫到斑马线
④横向生长的点数较多&＃xff08;或左前拐点后的边界斜率很小很小&＃xff09;

2&＃xff09;拉线处理

① 将左后拐点拉到左前拐点纵坐标位置的右边线

② 将左后边线的起始位置拉到右下角

③ 当左后拐点小于一定行数&＃xff0c;利用最小二乘法将左后拐点的线拟合到右下角

④ 进入车库&＃xff0c;正常扫线

5.车库元素-出库车库

1&＃xff09;判断条件

无需判断&＃xff0c;手动预设

2&＃xff09;拉线处理&＃xff08;以右出库为例&＃xff09;

① 在库内&＃xff0c;拉直线

② 左前拐点小于某行或丢失&＃xff0c;开始拉线

③ 避开斑马线进行扫线&＃xff0c;直接拉到左下角

④ 出库基本完成&＃xff0c;正常扫线

6.坡道元素

• 二值图&＃xff1a;
  

• 边线图&＃xff1a;

1&＃xff09;判断条件

判断条件&＃xff1a;

① 高行行间距变小
② 高行与低行都是直线&＃xff0c;方差很小

2&＃xff09;状态判断

①上坡前&＃xff0c;边线延伸至顶行&＃xff0c;行间距较大

②上坡时&＃xff0c;边线顶端只能够到达中间行

③下坡时&＃xff0c;边线又延伸至顶端&＃xff0c;高行行间距变小

④下到坡底&＃xff0c;行间距变宽

⑤坡道结束&＃xff0c;回到正常赛道

3&＃xff09;拉线处理

①在坡顶时&＃xff0c;只处理低行中线&＃xff0c;减少因坡顶的视野太远导致的误扫边界的影响

②其他时候正常扫线

7.会车

1&＃xff09;判断条件

• 二值图&＃xff1a;

^{▲ 二值图}

• 边界图&＃xff1a;

^{▲ 边界图}

在道路中间由下往上找种子&＃xff0c;找到后车车模并扫线&＃xff1a;

①找到车的四个拐点

②拐点前后边界的生长特征

③两个前拐点之间的距离符合正常后车长度

2&＃xff09;拉线处理

①将两个拐点中间的像素点作为后车中点

②将中点与最低行中点拉线

8.弯道

1&＃xff09;小弯道

判断标准&＃xff1a;

①多处圆弧型拐点
②边界存在一定的方差
③边界的斜率一定范围内

2&＃xff09;大弯道

判断标准&＃xff1a;

①一处圆弧拐点
②边线方差较大
③边界的斜率超出一定范围

9.长直道

判断标准&＃xff1a;

①不存在圆弧拐点
②边线方差很小
③边界的斜率稳定在很小范围之内

10.反光判断

利用生长方向的异常来判断是否反光。

• 二值图&＃xff1a;

• 边界图&＃xff1a;

结束语

智能车让我学到了很多。