激光雷达和相机的联合标定（Camera-LiDARCalibration）之apollo
西瓜育苗前⾔
上篇博客介绍了为什么要做联合标定以及如何使⽤Autoware的标定⼯具。
这篇博客介绍apollo标定⼯具的使⽤⽅法。
⾸先需要安装，然后才能使⽤其。
这个⼯具要求相对较⾼，需要⼴⾓相机，⾥程计和惯导，⽽且需要最准确的初始外参值，或许这样得出的标定结果更精确吧。
准备
下载，并将⽂件解压缩到$APOLLO_HOME/modules/calibration。APOLLO_HOME 是apollo仓库的根⽬录。
经过良好标定的相机内参
相机内参包含焦距，主点，失真系数和其他信息。
⽤户可以从其他相机标定⼯具获取内参，例如和。
标定完成后，⽤户应⼿动将结果转换为特定的yaml格式⽂件。
⽤户必须确保K和D数据正确：
K指的是相机矩阵
读后感的格式D指的是失真参数
以下是相机内参⽂件的⽰例：
header:
q: 0
stamp:
cs: 0花手工
ncs: 0
frame_id: short_camera
height: 1080
分组件
width: 1920
distortion_model: plumb_bob
D: [-0.535253, 0.259291, 0.004276, -0.000503, 0.0]
K: [1959.678185, 0.0, 1003.592207, 0.0, 1953.786100, 507.820634, 0.0, 0.0, 1.0]
R: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
P: [1665.387817, 0.0, 1018.703332, 0.0, 0.0, 1867.912842, 506.628623, 0.0, 0.0, 0.0, 1.0, 0.0]
binning_x: 0
binning_y: 0
roi:
x_offt: 0
y_offt: 0
height: 0
width: 0
do_rectify: Fal
初始化外参⽂件
这些⼯具要求⽤户提供初始外参值作为参考。
以下是Camera-to-LiDAR的初始外参⽂件的⽰例，其中，translation是相机和LiDAR之间的位移距离；rotation是旋转矩阵的四元数表达形式。
注意：Camera-to-LiDAR标定更依赖于初始外参值。⼤的偏差会导致标定失败。因此，在条件允许的情况下，必须提供最准确的初始外参值。
标定场景
由于Camera-to-LiDAR标定⽅法⽤于⾃然环境，因此良好的地点可以显着提⾼标定的准确性。 建议选择包含树⽊，电线杆，路灯，交通标志，静⽌物体和清晰交通线等物体的标定场地。
图1是标定地点的⼀个很好的选择⽰例：
图1 Good Choice for a Calibration Site
清天必要的topics
⽤户必须确认程序所需的所有传感器 topics 都有输出 messages。有关更多信息，请参阅： 下表列出了板载程序所需的传感器topics。
韩式辣鸡爪Sensor Topic Name
爆炒腰花的做法
Topic Feq. (Hz)
Short_Camera
/apollo/nsor/camera/traffic/image_short
9
header: q: 0 stamp: cs: 0 ncs: 0
frame_id: velodyne64 child_frame_id: short_camera transform: rotation: y: 0.5 x: -0.5 w: 0.5 z: -0.5 translation: x: 0.0 y: 1.5 z: 2.0
LiDAR /apollo/nsor/velodyne64/compensator/PointCloud2
10
INS /apollo/nsor/gnss/odometry 100INS
/apollo/nsor/gnss/ins_stat
2
Sensor Topic Name Topic Feq. (Hz)使⽤标定⼯具
在开始使⽤这些⼯具之前，必须验证定位状态是56，或者标定⼯具（程序）不会收集数据。 键⼊以下命令以检查定位状态：
Camera-to-LiDAR Calibration
1.使⽤以下命令运⾏Camera-to-LiDAR标定⼯具：
2.遵循以下准则来收集数据：
由于两个摄像机具有不同的时间戳，因此它们⽆法完全同步，因此在记录数据时⾮常缓慢地驾驶车辆⾮常重要。车辆的低速可以有效地缓解由不同时间戳引起的图像不匹配。
确保摄像机图像中有⼀定数量（超过500个）投影点，否则⼯具⽆法执⾏外参标定操作。因此，此⼯具仅适⽤于⼴⾓相机。记下保存的配置⽂件的位置：
Camera-to-LiDAR标定配置说明：
Configuration Description
camera_topic wide-angle camera image topic
lidar_topic LiDAR point cloud topic odometry_topic vehicle odometry topic ins_stat_topic
vehicle localization status topic
camera_intrinsics_filename intrinsic file of camera init_extrinsics_filename
initial extrinsic file
output_path calibration results output path calib_stop_count required stops of capturing data max_sp
eed_kmh
limitation of max vehicle speed, unit: km/h
Camera-to-LiDAR标定⼯具的输出类型为：
标定的外参⽂件，以.yaml⽂件的形式提供将LiDAR点云投影到相机图像上的两个验证图像：
⼀张图像⽤深度着⾊⼀张图像⽤强度着⾊
rostopic echo /apollo/nsor/gnss/ins_stat
cd /apollo/scripts
bash nsor_calibration.sh lidar_camera
/apollo/modules/calibration/lidar_camera_calibrator/camera_f
获得标定结果
所有标定结果都保存在配置⽂件的output路径下，并以 yaml 格式提供。
验证⽅法和结果
标定完成后，将在[output]/validation⽬录中⽣成相应的验证标定结果的图像。
背景信息：在点云投影图像中，⽤户可以看到具有明显边缘的物体和标志，并⽐较对齐。
验证⽅法：如果⽬标在50⽶范围内，其点云边缘可以与图像边缘重合，并且标定结果的准确性可以证明⾮常⾼。但是，如果存在错位，则标定结果会出错。当误差⼤于某个范围时（例如，5个像素，具体取决于实际使⽤情况），外参不可⽤。
⽰例：如以下⽰例所⽰，图1满⾜外部参数的精度要求，⽽图2则不满⾜。
图2 Good Camera-to-LiDAR Calibration Validation Result南京奥体中心
图3 Bad Camera-to-LiDAR Calibration Validation Result
