摄像头、激光雷达、毫⽶波雷达等传感器联合标定⽅法（⾃动驾驶之数据融合）
1. 摄像头是RGB图像的像素阵列；
2. 激光雷达是3-D点云距离信息（有可能带反射值的灰度值）；
事事顺意3. GPS-IMU给的是车⾝位置姿态信息；
本科几年
4. 雷达是2-D反射图
这样的话，实现标定误差最⼩化的⽬标函数会因为不同传感器配对⽽不同。标定⽅法分targetless和target两种，前者在⾃然环境中进⾏，约束条件少，不需要⽤专门的target；后者则需要专门的控制场，有ground truth的target，⽐如典型的棋盘格平⾯板。这⾥仅限于targetless⽅法的讨论，依次给出标定的若⼲算法。
2、⼿-眼标定（Hand-Eye Calibration）
这是⼀个被标定⽅法普遍研究的，⼀定约束条件下的问题：可以⼴义的理解，⼀个“⼿”（⽐如GPS/IMU）和⼀个“眼”（激光雷达/摄像头）都固定在⼀个机器上，那么当机器运动之后，“⼿”和“眼”发⽣的姿态变化⼀定满⾜⼀定的约束关系，这样求解⼀个⽅程就可以得
到“⼿”-“眼”之间的坐标转换关系，⼀般是AX=XB形式的⽅程。
⼿眼系统分两种：eye in hand和eye to hand，我们这⾥显然是前者，即⼿-眼都在动的情况。⼿眼标定分两步法和单步法，后者最有名的论⽂是“hand eye calibration using dual quaternion"。⼀般认为，单步法精度⾼于两步法，前者估计旋转之后再估计平移。
故事成语
这⾥通过东京⼤学的论⽂“LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry”来看看激光雷达和摄像头的标定算法。
显然它是求解⼀个⼿-眼标定的扩展问题-，即2D-3D标定，如图所⽰：
求解激光雷达的姿态变化采⽤ICP，⽽摄像头的运动采⽤特征匹配。后者有⼀个单⽬SFM的scale问题，论⽂提出了⼀个基于传感器融合的解法：初始估计来⾃于⽆尺度的摄像头运动和有尺度的激光雷达运动；之后有scale的摄像头运动会在加上激光雷达点云数据被重新估计。最后⼆者的外参数就能通过⼿-眼标定得到。下图是算法流程图：
⼿眼标定的典型解法是两步法：先求解旋转矩阵，然后再估计平移向量，公式在下⾯给出：
现在因为scale问题，上述解法不稳定，所以要利⽤激光雷达的数据做⽂章，见下图：
3-D点云的点在图像中被跟踪，其2D-3D对应关系可以描述为如下公式：
⽽求解的问题变成了：
上⾯优化问题的初始解是通过经典的P3P得到的。
得到摄像头的运动参数之后可以在两步⼿眼标定法中得到旋转和平移6参数，其中平移估计如下：
注：这⾥估计摄像头运动和估计⼿眼标定是交替进⾏的，以改进估计精度。除此之外，作者也发现⼀些摄像头运动影响标定精度的策略，看下图分析：
可以总结出：小姨子和我
1）摄像头实际运动a 越⼩，投影误差越⼩；
三国曹丕
2） (alpha- beta )越⼩，投影误差越⼩。第⼀点说明标定时候摄像头运动要⼩，第⼆点说明，标定的周围环境深度要变化⼩，⽐如墙壁。另外还发现，增加摄像头运动的旋转⾓，摄像头运动估计到⼿眼标定的误差传播会⼩。
男人梦见鱼是什么征兆这个⽅法⽆法在室外⾃然环境中使⽤，因为点云投影的图像点很难确定。
有三篇关于如何优化激光雷达-摄像头标定的论⽂，不是通过3-D点云和图像点的匹配误差来估计标定参数，⽽是直接计算点云在图像平⾯形成的深度图，其和摄像头获取的图像存在全局匹配的测度。
不过这些⽅法，需要⼤量迭代，最好的做法是根据⼿眼标定产⽣初始值为好。
另外，密西根⼤学是采⽤了激光雷达反射值，悉尼⼤学在此基础上改进，两个都不如斯坦福⼤学⽅法⽅便，直接⽤点云和图像匹配实现标定。
斯坦福论⽂“Automatic Online Calibration of Cameras and Lars”。斯坦福的⽅法是在线修正标定的“漂移”，如下图所⽰：精确的标定应该使图中绿⾊点（深度不连续）和红⾊边缘（通过逆距离变换 IDT，即inver distance transform）匹配。
密西根⼤学的论⽂“Automatic Targetless Extrinsic Calibration of a 3D Lidar and Camera by Maximizing Mutual Information”。这⾥定义了标定的任务就是求解两个传感器之间的转换关系，如图：求解R，T。
澳⼤利亚悉尼⼤学的论⽂“Automatic Calibration of Lidar and Camera Images using Normalized Mutual Information”。本⽂是对上⾯⽅法的改进。传感器配置如图：
标定的流程在下图给出：
西安交⼤论⽂“Integrating Millimeter Wave Radar with a Monocular Vision Sensor for On-Road Obstacle Detection Applications”。
在讲传感器融合的时候提过这部分⼯作，这⾥重点介绍标定部分。⾸先坐标系关系如下：
传感器配置如下：
减法的减怎么写>喝茶的英语标定其实是计算图像平⾯和雷达反射⾯之间的homography矩阵参数，如下图：
融合后检测障碍物的地图结果：
