点击上方“3D视觉工坊”&＃xff0c;选择“星标”
干货第一时间送达
作者&＃xff1a;Ali Yasin Eser
编译&＃xff1a;ronghuaiyang&＃xff08;AI 公园&＃xff09;
导读
双目立体校正和标定。
大家好&＃xff01;今天我们将讨论什么是立体摄像机&＃xff0c;以及我们如何将它用于计算机视觉。通过使用这里的代码&＃xff1a;https://github.com/aliyasineser/stereoDepth&＃xff0c;我将解释我们如何为立体摄像机校准摄像机并计算视差图。我不会深入数学细节&＃xff0c;你可以阅读一些OpenCV文档。
我们能感知深度的原因是我们美丽对齐的眼睛。如果你注意到&＃xff0c;当我们用一只眼睛看近处的物体时&＃xff0c;我们会看到两种角度的不同。但当你看远处的东西时&＃xff0c;比如几公里外的山或建筑&＃xff0c;你看不到区别。这些差异在我们的大脑中自动处理&＃xff0c;我们可以感知深度&＃xff01;眼睛一个在左一个在右的动物无法感知深度&＃xff0c;因为它们没有共同的视角&＃xff0c;相反&＃xff0c;它们有广角视角。有些动物&＃xff0c;比如鸭子&＃xff0c;通过摇头或快速奔跑来感知深度。我们不会讨论这个概念&＃xff0c;现在&＃xff0c;让我们关注像我们的眼睛这样的系统。
简化的立体视觉。你可以看到物体P是如何被两个摄像机观察到的。物体的位置在两个图像中是不同的。
如果两台相机垂直对齐&＃xff0c;观察到的物体将在同一垂直坐标上(图像中的同一列)&＃xff0c;所以我们只能关注x坐标来计算深度&＃xff0c;因为近的物体在x轴上会有较大的差值。但为了实现这一目标&＃xff0c;我们需要对相机进行校准&＃xff0c;以修正镜头畸变。校准后&＃xff0c;我们需要对系统进行校正。校正基本上就是两台相机之间的校准。如果我们校准和矫正我们的立体摄像机&＃xff0c;两个物体将在相同的y轴上&＃xff0c;并且观测点P(x,y)可以在图像的同一行中找到&＃xff0c;P1(x1,y)是第一个摄像机&＃xff0c;P2(x2,y)是第二个摄像机。从这里开始&＃xff0c;像素和深度计算之间的唯一区别就在于此。
左上角图像和右下角图像分别是左/右相机图像&＃xff0c;左下角是它们的组合来显示差异&＃xff0c;右下角是深度图。
首先&＃xff0c;将立体摄像机安装在一个固体物体上(尺子、木头或硬塑料材料等)&＃xff0c;使校准和校正参数能够正常工作。例如&＃xff0c;如果你有Intel Realsense或zed相机&＃xff0c;你可以跳过所有的部分&＃xff0c;因为Realsense有自动校准功能&＃xff0c;zed已经按出厂默认校准。下一步是分别校准两个相机。你可以按照这里&＃xff1a;https://medium.com/&＃64;aliyasineser/opencv-camera-calibration-e9a48bdd1844进行校正。立体摄像机首先需要单相机校准&＃xff0c;因为校正需要这些参数。使用棋盘格图像进行校准&＃xff0c;使用至少20张图像以进行良好的计算。
左图和右图的例子。注意拍照的时候要同步&＃xff0c;在校正中&＃xff0c;即使小的差别也会影响结果。
这些图像会给我们提供摄像机所需的信息。为了更好的校准&＃xff0c;你不能移动并获取同步的图像。你可以使用grab和retrieve函数来获得更接近的时间戳。对于拍摄图像&＃xff0c;你可以使用这个代码&＃xff1a;https://github.com/aliyasineser/stereoDepth/blob/master/getStereoImages.py&＃xff0c;对于校准&＃xff0c;你可以使用这个代码&＃xff1a;https://github.com/aliyasineser/stereoDepth/blob/master/stereo_camera_calibration.py。关于代码:
立体标定&＃xff1a;立体摄像机的摄像机标定。
立体校正&＃xff1a;通过旋转和平移使它们在y轴上对齐&＃xff0c;使这些摄像机观察到的每个点都在每个摄像机图像的同一列中。
OpenCV立体标定函数&＃xff1a;
ret, K1, D1, K2, D2, R, T, E, F &＃61; cv2.stereoCalibrate(objp, leftp, rightp, K1, D1, K2, D2, image_size, criteria, flag)
我们要注意函数中的flags&＃xff1a;
CV_CALIB_FIX_INTRINSIC: K和D个矩阵是固定的。这是默认标志。如果你校准好你的相机&＃xff0c;你可以修正它们&＃xff0c;所以你只会得到校正矩阵。
CV_CALIB_USE_INTRINSIC_GUESS: K和D个矩阵将被优化。对于这个计算&＃xff0c;你应该给出经过良好校准的矩阵&＃xff0c;以便(可能)得到更好的结果。
CV_CALIB_FIX_PRINCIPAL_POINT: 修复K矩阵中的参考点。
CV_CALIB_FIX_FOCAL_LENGTH: 在K矩阵中固定焦距。
CV_CALIB_FIX_ASPECT_RATIO: 固定长宽比。
CV_CALIB_SAME_FOCAL_LENGTH: 校准焦距&＃xff0c;并设置Fx和Fy相同的校准结果。我对这个不熟悉&＃xff0c;但我肯定它是特定的立体设置所需要的。
CV_CALIB_ZERO_TANGENT_DIST: 去掉畸变。
CV_CALIB_FIX_K1, …, CV_CALIB_FIX_K6: 移除K1到K6的畸变。这对实验非常重要。我不熟悉这些背后的数学&＃xff0c;但我做的实验帮助了我很多。
结果中的R, T, E, F系数给出了两个相机之间的关系&＃xff0c;我们将使用它们进行校正&＃xff1a;
R1, R2, P1, P2, Q, roi_left, roi_right &＃61; cv2.stereoRectify(K1, D1, K2, D2, image_size, R, T, flags&＃61;cv2.CALIB_ZERO_DISPARITY, alpha&＃61;0.9)
在这个函数中&＃xff0c;我们只有一个标志CALIB_ZERO_DISPARITY&＃xff0c;它用于匹配图像之间的y轴。alpha值用于转换后的黑色部分&＃xff0c;因为图像会旋转&＃xff0c;我们的大小不会改变&＃xff0c;所以一些图像会是黑色的&＃xff0c;我们的原始图像会小得多。我设置了相机的值。选项是&＃xff1a;
alpha&＃61;-1 -> 让 OpenCV 优化黑色部分。
alpha&＃61; 0 -> 旋转和切割图像&＃xff0c;使没有黑色的部分。这个选项在大多数情况下会严重削减图像&＃xff0c;你不会得到一个像样的高质量的图像&＃xff0c;但值得一试。
alpha&＃61; 1 -> 进行变换&＃xff0c;但不要切任何东西。
alpha&＃61;experimental-> 有时候什么都不管用。这意味着你应该试验这些值。在某个特定的alpha值&＃xff0c;你可以有一些黑色的部分&＃xff0c;但高质量的图像。我为我的相机找到了最好的0.9756&＃xff0c;所以不要失去希望:)、S
R矩阵和P矩阵称为旋转矩阵和投影矩阵。R1和P1给出从第一个(左)到第二个(右)摄像机的旋转和位置。R2和P2是从二到一。从视差图中得到深度图需要Q矩阵。包括相机之间的距离&＃xff0c;焦距等&＃xff0c;用于深度地图的处理。当计算深度值时&＃xff0c;不要忘记将在与校准工作相同的单位中获得坐标。有很多参数&＃xff0c;所以最好仔细检查。
对于结果&＃xff0c;应该去看我们的测试代码&＃xff1a;https://github.com/aliyasineser/stereoDepth/blob/master/stereo_depth.py。如果我们阅读主要部分&＃xff0c;我们会看到我们使用了畸变校正&＃xff1a;
leftMapX, leftMapY &＃61; cv2.initUndistortRectifyMap(K1, D1, R1, P1, (width, height), cv2.CV_32FC1)left_rectified &＃61; cv2.remap(leftFrame, leftMapX, leftMapY, cv2.INTER_LINEAR, cv2.BORDER_CONSTANT)rightMapX, rightMapY &＃61; cv2.initUndistortRectifyMap(K2, D2, R2, P2, (width, height), cv2.CV_32FC1)right_rectified &＃61; cv2.remap(rightFrame, rightMapX, rightMapY, cv2.INTER_LINEAR, cv2.BORDER_CONSTANT)
这意味着initUndistortRectifyMap函数可以同时实现图像的畸变校正和校准。对于左相机&＃xff0c;我们使用K1(相机矩阵)和D1(失真矩阵)进行畸变校正&＃xff0c;使用R1(从左到右旋转)和P1(从左到右投影矩阵)进行校正。在对remap进行变换后&＃xff0c;我们将得到修正后的图像。对于右相机&＃xff0c;我们会用相同的步骤做一遍&＃xff0c;然后第一部分就完成了&＃xff01;总结一下过程&＃xff1a;
这就是立体校准和标定。我们将在下一篇博客中讨论视差图的计算!
一些资源:
http://zone.ni.com/reference/en-XX/help/372916P-01/nivisionconceptsdita/guid-c9c3535b-faf7-4ade-9166-513a49d1b90a/
https://www.google.at/search?q&＃61;depth&＃43;map&source&＃61;lnms&tbm&＃61;isch&sa&＃61;X&ved&＃61;0ahUKEwjlqIq1xsjeAhUkglwKHahhDVIQ_AUIDigB&biw&＃61;1536&bih&＃61;732#imgrc&＃61;o7eiUTU5f3tKpM:
https://www.mathworks.com/discovery/stereo-vision.html
https://docs.opencv.org/3.0-beta/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html
英文原文&＃xff1a;https://py.plainenglish.io/the-depth-i-stereo-calibration-and-rectification-24da7b0fb1e0
本文仅做学术分享&＃xff0c;如有侵权&＃xff0c;请联系删文。
下载1
在「3D视觉工坊」公众号后台回复&＃xff1a;3D视觉&＃xff0c;即可下载 3D视觉相关资料干货&＃xff0c;涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复&＃xff1a;3D视觉github资源汇总&＃xff0c;即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复&＃xff1a;相机标定&＃xff0c;即可下载独家相机标定学习课件与视频网址&＃xff1b;后台回复&＃xff1a;立体匹配&＃xff0c;即可下载独家立体匹配学习课件与视频网址。
重磅&＃xff01;3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信&＃xff0c;可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群&＃xff0c;旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群&＃xff0c;目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注&＃xff1a;研究方向&＃43;学校/公司&＃43;昵称&＃xff0c;例如&＃xff1a;”3D视觉 &＃43; 上海交大 &＃43; 静静“。请按照格式备注&＃xff0c;可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球&＃xff1a;针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕&＃xff0c;更有各类大厂的算法工程人员进行技术指导。与此同时&＃xff0c;星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息&＃xff0c;打造成集技术与就业为一体的铁杆粉丝聚集区&＃xff0c;近3000星球成员为创造更好的AI世界共同进步&＃xff0c;知识星球入口&＃xff1a;
学习3D视觉核心技术&＃xff0c;扫描查看介绍&＃xff0c;3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用&＃xff0c;麻烦给个赞和在看~ 
京公网安备 11010802041100号