开发笔记:《ROS理论与实践》学习笔记机器视觉处理

在学习《ROS理论与实践》课程时&＃xff0c;记录了学习过程中的编程练习&＃xff0c;课后作业以及发现的问题&＃xff0c;后续会对尚未解决的问题继续分析并更新&＃xff0c;纯小白&＃xff0c;仅供参考。
本次学习笔记关于课程中的第七讲&＃xff1a;机器视觉处理 。主要学习了ROS的USB摄像头启动、摄像头参数标定、OpenCV及Tensorflow案例的练习。

1.ROS摄像头驱动及数据接口

usb摄像头功能包安装&＃xff1a;

$ sudo apt-get install ros-melodic-usb-cam


启动usb摄像头并用rqt显示&＃xff1a;

$ roslaunch usb_cam usb_cam-test.launch
$ rqt_image_view


usb摄像头具体数据接口见ROS Wiki&＃xff1a;wiki usb_cam

在练习时发现了一些问题&＃xff0c;与虚拟机的外设链接有关。
1.启动usb摄像头launch文件时出现如下警告&＃xff1a;

[ERROR] Cannot identify &＃39;/dev/video0&＃39;: 2, No such file or directory


解决方法&＃xff1a;在虚拟机设置中勾上显示所有USB输入设备&＃xff0c;重启后连接usb摄像头。
具体过程见博客&＃xff1a;无法打开USB摄像头

2.如上成功连接摄像头后&＃xff0c;启动launch文件又出现如下警告&＃xff1a;

[ERROR] [1621304764.757189189]: select timeout


解决方法&＃xff1a;在1的基础上&＃xff0c;将虚拟机的USB兼容性改为3.0即可

2.摄像头参数标定

安装calibration参数标定功能包&＃xff1a;

$sudo apt-get install ros-melodic-camera-calibration


启动launch文件&＃xff1a;

$ roslaunch robot_vision usb_cam.launch
$ rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:&＃61;/usb_cam/image_raw camera:&＃61;/usb_cam


其中size表示标定棋盘的内部角点个数&＃xff0c;square表示每个棋盘格的边长&＃xff0c;image和camera为设置摄像头发布的图像话题。
将标定靶进行平移和旋转直到X/Y/Size/Skew进度条均变为绿色后&＃xff0c;点击CALIBRATE&＃xff0c;存储得到如下的标定文件&＃xff1a;

3.ROS&＃43;OpenCV图像处理方法及案例

ROS OpenCV功能包安装&＃xff1a;

$ sudo apt-get install ros-melodic-vision-opencv libopencv-dev python-opencv


主要的API&＃xff1a;

• imgmsg_to_cv2() : 将ROS图像消息转换成OpenCV图像数据
• cv2_to_imgmsg() : 将OpenCV格式的图像数据转换成ROS图像消息
• 输入参数&＃xff1a;图像信息流&＃xff1b;转换的图像数据格式

人脸识别案例流程&＃xff1a;

• 初始化&＃xff1a;完成ROS节点、图像、识别参数的设置
• 回调函数&＃xff1a;将图像转换成OpenCV的数据格式&＃xff0c;然后预处理之后开始调用人脸识别的功能函数&＃xff0c;最后把识别结果发布
• 人脸识别&＃xff1a; 调用OpenCV提供的人脸识别接口&＃xff0c;与数据库中的人脸特征进行匹配

$ roslaunch robot_vision usb_cam.launch
$ roslaunch robot_vision face_dector.launch
$ rqt_image_view


跟踪物体特征点案例流程&＃xff1a;

• 初始化&＃xff1a; 完成ROS节点、图像、识别参数的设置
• 将图像转换成OpenCV格式&＃xff0c;完成图像预处理之后开始针对两帧图像进行比较&＃xff0c;基于图像差异识别到运动的物体&＃xff0c;最后标识结果并发布

$ roslaunch robot_vision usb_cam.launch
$ roslaunch robot_vision motion_dector.launch
$ rqt_image_view


4.ROS&＃43;Tensorflow物体识别方法及案例

tensorflow安装:

$ sudo apt-get install python-pip python-dev python-virtualenv
$ virtualenv --system-site-packages ~/tensorflow
$ source ~/tensorflow/bin/activate
$ easy_install -U pip
$ pip install --upgrade tensorflow


剩余代码来自课程代码包&＃xff0c;含有物体识别案例

$ roslaunch tensorflow_object_detector usb_cam_detector.launch


1.通过人脸识别方式&＃xff0c;发布速度控制指令&＃xff0c;控制仿真机器人运动

任务要求&＃xff1a;小车根据人脸左右移动方向进行旋转&＃xff0c;根据人脸前后移动方向进行移动
实现思路&＃xff1a;通过人脸识别例程计算得到人脸的二维坐标点以及人脸大小&＃xff0c;对应地写入Twist消息变量&＃xff0c;并创建一个发布者vel_pub&＃xff0c;向/cmd_vel话题发布Twist速度指令。

为了便于测试&＃xff0c;自定义了一个msg消息类型facepos&＃xff0c;并通过faceps_pub发布者&＃xff0c;向/faceposition话题实时发布人脸位置和大小&＃xff0c;其数据结构如下&＃xff1a;

uint16 posx
uint16 posy
uint16 facesize


部分代码实现如下&＃xff1a;

• 创建face_pub和vel_pub发布者

# 创建人脸位置话题faceposition,消息类型为自定义类型facepos
self.facepos_pub &＃61; rospy.Publisher("faceposition",facepos,queue_size&＃61;10)
# 创建一个Publisher&＃xff0c;发布名为/cmd_vel的topic&＃xff0c;消息类型为geometry_msgs::Twist&＃xff0c;队列长度10
self.vel_pub &＃61; rospy.Publisher(&＃39;/cmd_vel&＃39;,Twist,queue_size&＃61;10)


• 将人脸数据和速度指令封装到facepos和Twist消息类型

# 将人脸位置信息封装到消息类型facepos中
# 将速度发布指令封装到消息类型Twist中
facepos_data &＃61; facepos()
vel_msg &＃61; Twist()
# 在opencv的窗口中框出所有人脸区域
if len(faces_result)>0:
for face in faces_result:
x, y, w, h &＃61; face
facepos_data.posx &＃61; x&＃43;w/2
facepos_data.posy &＃61; y&＃43;h/2
facepos_data.facesize &＃61; w*h
cv2.rectangle(cv_image, (x, y), (x&＃43;w, y&＃43;h), self.color, 2)

# 当人脸偏左&＃xff0c;则围绕z轴以0.2速度旋转&＃xff0c;反之围绕z轴以-0.2速度旋转
if facepos_data.posx &＃61;&＃61; 0:
vel_msg.angular.z &＃61; 0
elif facepos_data.posx > 400:
vel_msg.angular.z &＃61; 0.2
else:
vel_msg.angular.z &＃61; -0.2

# 当人脸尺寸大于30000&＃xff08;靠前&＃xff09;则前进&＃xff0c;反之则后退
if facepos_data.facesize &＃61;&＃61; 0:
vel_msg.linear.x &＃61; 0
elif facepos_data.facesize > 30000:
vel_msg.linear.x &＃61; 0.5
else:
vel_msg.linear.x &＃61; -0.5


• 发布指令

# 发布速度指令
self.vel_pub.publish(vel_msg)
# 将识别后的图像转换成ROS消息并发布
self.image_pub.publish(self.bridge.cv2_to_imgmsg(cv_image, "bgr8"))
# 发布人脸位置信息
self.facepos_pub.publish(facepos_data)


测试结果
可以通过echo相关的话题对程序进行测试&＃xff1a;

$ topic echo /cmd_vel
$ topic echo /faceposition


得到结果如下图所示&＃xff1a;
运行Gazebo仿真程序&＃xff0c;确实能够实现人脸识别对小车的控制&＃xff0c;但是对于戴眼镜的人脸会有严重的跳变&＃xff0c;人脸坐标频繁跳变为0&＃xff0c;在实际应用中可以再加入跳变检测&＃xff0c;并做一些滤波处理。

2.使用杯子识别发布速度控制指令&＃xff0c;控制仿真机器人的运动

实现方法与第一题类似&＃xff0c;后续更新。

ps.无法正常import自定义msg消息

在完成作业第一题时&＃xff0c;在myrobot_vision功能包下创建msg文件夹&＃xff0c;并建立了自定义msg消息facepos&＃xff0c;用于发布人脸的实时坐标和尺寸&＃xff0c;同第三讲的内容&＃xff0c;对CMakeLists.txt和package.xml文件进行了修改&＃xff0c;并使用如下代码进行import&＃xff1a;

from myrobot_vision.msg import facepos


在运行代码时出现如下报错提示&＃xff1a;

ImportError: No module named myrobot_vision.msg


但是在学习时使用的learning_communication功能包下的msg文件夹中&＃xff0c;同样建立facepos.msg消息&＃xff0c;进行如下的import,代码能够运行成功&＃xff1a;

from learning_communication.msg import facepos


解决方法&＃xff1a;重启一下就好了…&＃xff1f;可能是需要手动source一下&＃xff1f;

本讲学习了ROS的USB摄像头启动、摄像头参数标定、OpenCV及Tensorflow案例&＃xff0c;通过作业巩固了话题通信以及本讲的视觉内容&＃xff0c;做了一定的拓展。主要遇到的问题是自定义msg消息的导入&＃xff0c;花费了很多的时间检查&＃xff0c;最后也不知道怎么解决的…重启一下就好了。