SolvePnP - 如何使用它？

我正在使用运动结构进行一些多视图几何重建.到目前为止,我有以下情况

两个图像作为初始输入相机参数和失真系数初始输入图像的工作整流管道创建视差图从视差图创建一个pointCloud,迭代视差图并将值取为z(x和y是像素视差图中像素的坐标)(什么不工作是reprojectImageTo3D,因为我的Q矩阵似乎非常错误,但其他一切都工作得很好)这给了我一个很好的场景点云.

现在我需要在管道中添加更多图像.我google了很多,发现方法solvePnP会帮助我.

但现在我很困惑......

SolvePnP将获取3D点和相应的2D图像点的列表,并重建第三,第四相机的R和T矢量......等等.我已经读过,这些矢量需要对齐,这意味着第一个矢量中的第一个3D点对应于第二个矢量中的第一个2D点.

到现在为止还挺好.但是从哪里可以看出那些对应？我可以使用此方法reprojectPoints获取这两个向量??? 或者使用视差图进行深度重建,我的整个想法是错误的？(替代方案:使用之前找到的良好匹配的triangulatePoints).

有人可以帮我解决这个问题吗？如何使用solvePnP添加更多摄像头,从而将3D点添加到我的pointcloud并改善重建结果？