最详细的SLAM综述
论⽂：Past, Prent, and Future of Simultaneous Localization And Mapping: Towards the Robust-Perception Age . Cesar Cadena, Luca Carlone, Henry Carrillo, Yasir Latif, Davide Scaramuzza, Jos´e Neira, Ian Reid, John J. Leonard
摘要
同时定位和建图(SLAM)包括同时构建环境模型(地图)，以及对在其中运动的机器⼈状态的估计。在过去的30年⾥，SLAM社区取得了惊⼈的进步，实现了⼤规模的实际应⽤，并见证了这项技术向⼯业的稳步过渡。本⽂综述了SLAM当前的进展，并思考了未来的⽅向。
本⽂⾸先介绍SLAM事实上的标准公式。然后，回顾了相关的⼯作，涵盖了⼀系列⼴泛的主题，包括长期建图的鲁棒性和可拓展性、建图的度量和语义表⽰、理论性能保证、主动SLAM和探索，以及其他新的前沿。
同时，本⽂对SLAM使⽤者也具有⼀定的⽴场和指导作⽤。通过以批判的眼光看发表的研究，我们描绘了开放的挑战和新的研究问题，仍然值得仔细的科学调查。这篇论⽂还包含了两位作者对机器⼈⼤会上经常引发讨论的两个问题的回答：机器⼈需要SLAM吗? SLAM解决了吗?
引⾔
SLAM由同时估计带有板载传感器的机器⼈的状态估计，和构建传感器所感知的环境模型（地图）组成。在简单的实例中，机器⼈的状态是由它的位姿(position和orientation)描述的，其他量（如机器⼈速度、传感器的bias和外参）也可能包括在状态中。另⼀⽅⾯，地图是描述机器⼈运⾏环境的感兴趣的东西(如路标、障碍物的位置)的表⽰。
使⽤环境地图有两个⽅⾯的需要。⾸先，地图通常需要⽤于执⾏其他任务; 例如，地图可以⽤于执⾏路径规划或为⼈类操作员提供直观的可视化。其次，地图可以限制在估计机器⼈状态时的误差。在没有地图的情况下，航迹推算（dead-reckoning）会随着时间迅速漂移；但是在使⽤地图（例如⼀组具有可区分性的路标）机器⼈在重新访问已知区域时“重置”其定位误差（称之为回环检测）。因此，SLAM应⽤于那些⽆法使⽤先验地图，需要构建地图的场景。
在某些机器⼈应⽤中，所有路标的位置是已知的。例如，可以为在⼯⼚⼯作的机器⼈提供环境中⼈⼯信标（articial beacons）的⼿⼯构造（manually-built）的地图。另⼀个例⼦是机器⼈可以使⽤GPS (GPS卫星可以被认为是在已知位置的移动信标)。在这种场景中，如果可以根据已知路标可靠地进⾏定位，则可能不需要SLAM。
SLAM问题的流⾏与移动机器⼈在室内应⽤的出现有关。室内运⾏阻⽌了使⽤GPS来限制定位误差；
⽽SLAM提供了⽤户构建地图的另⼀种选择，它可以在没有专门的定位设施的情况下运⾏机器⼈。
Durrant-Whyte和Bailey在两项综述中对SLAM问题的前20年进⾏了详细的历史回顾。
[69]Simultaneous Localisation and Mapping (SLAM): Part I.
[7]Simultaneous Localisation and Mapping (SLAM): Part II.
这两个综述主要覆盖了我们所说的古典时代（classical age）(1986-2004)；古典时代引⼊了SLAM的主要概率公式，包括基于扩展卡尔曼滤波器（EKF）、RaoBlackwellid粒⼦滤波器和最⼤似然估计（MLE）的⽅法；此外，这个时代描述了与效率和鲁棒的数据关联（data association）有关的基本挑战。另外两个描述古典时代三种主要SLAM公式的优秀参考⽂献是Thrun, Burgard和Fox的书[240]和stachhniss等⼈[234]的46章。
[240] S. Thrun, W. Burgard, and D. Fox. Probabilistic Robotics. MIT Press, 2005.
[234] C. Stachniss, S. Thrun, and J. J. Leonard. Simultaneous Localization and Mapping. In B. Siciliano and O. Khatib, editors, Springer Handbook of Robotics, chapter 46, pages 1153–1176. Springer, 2nd edition, 2016.
随后的时期我们称之为算法分析时代（algorithmic-analysis age）(2004-2015)，Dissanayake等⼈[64]对这⼀时期进⾏了部分综述。
[64] G. Dissanayake, S. Huang, Z. Wang, and R. Ranasinghe. A review of recent developments in Simultaneous Localization and Mapping. In International Conference on Industrial and Information Systems, pages 477–482. IEEE, 2011.中药龙骨
算法分析阶段研究了SLAM的基本特性，包括可观性、收敛性和⼀致性。在这⼀时期，⼈们也了解了稀疏性对⾼效SLAM求解的关键作⽤，主要的开源SLAM库也被开发出来了。
我们回顾了到⽬前为⽌主要的SLAM综述在表I，观察到⼤多数最近的综述只涵盖特定的⽅⾯或⼦领域的SLAM。
如果考虑到SLAM所涉及的⽅⽅⾯⾯，那么SLAM在过去30年中的流⾏也就不⾜为奇了。在较低的层次(称为前端)，SLAM与其他研究领域交叉，如计算机视觉和信号处理; 在更⾼的层次上(称之为后端)，SLAM是⼏何学、图论、优化和概率估计的组合。最后，⼀个SLAM专家必须处理从传感器校准到系统集成的实际问题。
本⽂对SLAM的现状进⾏了全⾯的概述，并对SLAM研究的开放性问题和未来的发展⽅向提出了部分学界⼈⼠的看法。我们主要关注的是度量（metric）和语义（mantic）SLAM，我们建议读者参考Lowry等⼈最近的综述[160]，该综述提供了基于视觉的位置识别和拓扑SLAM的全⾯回顾。
[160]S. Lowry, N. S¨underhauf, P. Newman, J. J. Leonard, D. Cox, P. Corke, and M. J. Milford. Visual Place Recognition: A Survey. IEEE Transactions on Robotics (TRO), 32(1):1–19, 2016.
在深⼊研究这篇论⽂之前，我们⾸先讨论两个经常在机器⼈会议上引发讨论的问题:(1)⾃主机器⼈需要SLAM吗? (2) SLAM是否作为⼀项学术研究来解决? 我们将在论⽂的结尾重新讨论这些问题。
回答问题“⾃主机器⼈真的需要SLAM吗”需要了解是什么使SLAM独⼀⽆⼆。SLAM的⽬标是建⽴⼀个全局⼀致的环境表⽰（地图），利⽤帧间运动（ego-motion）和回环闭合（loop closure） 。这⾥的关键是“回环闭合”：如果我们删除回环闭合，SLAM就会简化为⾥程计（odometry）。在早期的应⽤中，⾥程计是通过集成车轮编码器获得的。从车轮⾥程计中获得的位姿估计会迅速漂移，⼏⽶后就⽆
法使⽤了；这是SLAM发展背后的主要推动⼒之⼀：外部路标的观测有助于减少轨迹漂移，并可以纠正它。最近的⾥程计算法是基于视觉和惯性信息，漂移⾮常⼩(⼩于 0.5%的轨迹长度)。因此，问题变得合情合理：我们真的需要SLAM吗?我们的答案是三⽅⾯的。
第⼀个答案，观察到在过去⼗年中，SLAM研究本⾝就产⽣了视觉惯性⾥程计（VIO）算法，这是⽬前最先进的技术，⽐如[163], [175]；
[163]S. Lynen, T. Sattler, M. Bos, J. Hesch, M. Pollefeys, and R. Siegwart. Get out of my lab: Large-scale, real-time visual-inertial localization. In Proceedings of Robotics: Science and Systems Conference (RSS), pages 338–347, 2015.
[175]A. I. Mourikis and S. I. Roumeliotis. A Multi-State Constraint Kalman Filter for Vision-aided Inertial Navigation. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), pages 3565–3572. IEEE, 2007.
在这个意义上，视觉惯性导航（VIN）是SLAM算法：VIN可以被认为是⼀个简化的SLAM系统，其中缺少了回环闭合(或位置识别)模块。更普遍地说，SLAM已经直接导致了⽐以前考虑的其他领域(如，航空航天⼯程中的惯性导航)更有挑战性场景下(如缺少GPS，低质量的传感器)的传感器融合的研究。
第⼆个答案与环境的真实拓扑有关。⼀个只执⾏⾥程计⽽忽略回环的机器⼈将世界看作⼀个“⽆限⾛廊”(图1-左)，在其中机器⼈不断探索新的领域。
⼀个回环闭合（loop closure）事件告诉机器⼈这个“⾛廊”与⾃⼰相交(图1-右)。loop closure的优势现在变得很明显：通过寻找loop closure，机器⼈能够了解环境的真实拓扑结构，并能够找到位置之间的捷径(例如，地图上的点B和C)。因此，如果获得正确的环境拓扑是SLAM的优点之⼀，为什么不直接删除度量信息，只进⾏位置识别呢? 答案很简单: 度量信息让位置识别变得更简单、更鲁棒; 度量信息告诉机器⼈关于loop closure的机会⼤⼩，并可以丢弃误报的loop closure。因此，尽管SLAM在原则上可能是冗余的（位置识别模块⾜以进⾏拓扑建图），SLAM提供了⼀种⾃然的防御机制，以防⽌错误的数据关联和感知混淆（perceptual aliasing）（环境中不同位置相对应的相似场景会欺骗位置识别算
法）。从这个意义上说，SLAM地图提供了⼀种预测和验证未来测量结果的⽅法，我们相信这种机制是鲁棒运⾏的关键。
第三个答案是，许多应⽤程隐式或显式地需要全局⼀致的地图，那么都需要SLAM。例如，在许多军事和民⽤应⽤中，机器⼈的⽬标是探索⼀个环境，并向⼈类操作员报告地图，确保获得环境的全覆盖。另⼀个例⼦是，机器⼈必须执⾏结构检查(建筑、桥梁等)；在这种情况下，全局⼀致的三维重建是成功执⾏的必要条件。
“SLAM解决了吗”这个问题在机器⼈社区经常被问到。这个问题很难回答，因为SLAM已经成为⼀个⾮常⼴泛的话题，以⾄于这个问题只适⽤于给定的机器⼈/环境/性能时。具体来说，可以从以下⼏个⽅⾯来评价SLAM问题的成熟度:
² 机器⼈: 运动类型(如，动⼒学，最⼤速度)，可⽤的传感器(如，分辨率，采样率)，可⽤的计算资源；
² 环境：平⾯的或三维的，⾃然的或⼈⼯路标存在的，动态元素的数量，对称性的数量和感知混叠的风险。请注意，这些⽅⾯中的许多实际上都依赖于传感器-环境的配置：例如，在2D激光雷达看来，两个房间可能是相同的(感知混叠)，⽽相机可能从外观线索分辨它们；
² 性能要求：估计机器⼈状态想要的精度，环境表⽰的准确性和类型(例如，基于路标的或稠密的)，成功率(满⾜精度范围的测试百分⽐)，估计延迟，最⼤运⾏时间，建图区域的⼤⼩。
使⽤配备了车轮编码器和激光雷达的机器⼈ 对⼆维室内环境建图时，具有⾜够的精度(< 10cm)和⾜够的鲁棒性(例如低故障率)，这个SLAM问题可以认为很⼤程度上解决了（⼯业系统执⾏SLAM的⼀个例⼦是库卡导航解决⽅案[145]）。
同样，基于视觉的慢速的移动机器⼈SLAM(如⽕星漫游者[166]、家⽤机器⼈[114])和VIO[94]也可以认为是成熟的研究领域。
初中生演讲稿另⼀⽅⾯，其他机器⼈/环境/性能组合情况下仍然需要⼤量的基础研究。当前的SLAM算法很容易在机器⼈的运动或环境太有挑战性时失败(例如，快速的机器⼈运动，⾼度动态变化的环境)；
同样，SLAM算法往往⽆法⾯对严格的性能要求，如快速闭环控制的⾼速率估计。本综述将对这些未决问题以及其他问题提供⼀个全⾯的概述。
猪肘子的家常做法在本⽂中，我们认为我们正在进⼊SLAM的第三个时代，即鲁棒感知时代（robust-perception age），这⼀时代具有以下关键要求:
ü 1)robust performance：在⼴泛的环境中，SLAM系统可以在较长时间内以低故障率运⾏；该系统包括故障安全（fail-safe）机制，并具有⾃调优（lf-tuning）能⼒，因为它可以根据场景调整系统参数的选择。
ü 2)high-level understanding：SLAM系统超越基本的⼏何重建，以获得对环境的⾼层次理解 (e.g., high-level geometry,mantics, physics, affordances);
社会学科ü 3) resource awareness：根据可⽤的传感器和计算资源定制SLAM系统，并提供根据可⽤资源调整计算负载的⼿段;
ü 4) task-driven perception:SLAM系统能够选择相关的感知信息，过滤掉不相关的传感器数据，以⽀持机器⼈必须执⾏的任务；此
外，SLAM系统产⽣⾃适应地图表⽰，其复杂性可能因⼿头的任务⽽不同。
论⽂组织：
Ø 论⽂⾸先提出了SLAM的标准形式和架构(第⼆部分)。
Ø 第三节讨论了life-long SLAM的鲁棒性。
Ø 第四节讨论可伸缩性。
Ø 第五节讨论了如何表⽰环境的⼏何。
Ø 第六节将环境表⽰的问题扩展到语义信息的建模。
Ø 第七节概述了⽬前国际上关于SLAM理论⽅⾯的研究成果。
Ø 第⼋节扩展了讨论并回顾了主动SLAM问题，在这个问题中，决策被⽤来提⾼SLAM结果的质量。
Ø 第九节概述了SLAM的最新趋势，包括⾮常规传感器和深度学习的使⽤。
Ø 第⼗节给出最后的评论。
在整篇论⽂中，我们为机器⼈社区之外的相关⼯作提供了许多pointer。尽管SLAM有其独特的特点，但它涉及到计算机视觉、计算机图形学和控制理论等领域的问题，这些领域的交叉融合是快速发展的必要条件。
对于⾮专业读者，我们建议在深⼊研究这篇论⽂之前先阅读DurrantWhyte和Bailey的SLAM教程[7,69]。更有经验的研究⼈员可以直接跳到感兴趣的部分，在那⾥他们将找到⼀个独⽴的概述现状和开放的问题。
[69]Simultaneous Localisation and Mapping (SLAM): Part I.
[7]Simultaneous Localisation and Mapping (SLAM): Part II.
晨雾第⼆节现代SLAM系统的剖析
⼀个SLAM系统的架构包括两个主要组成部分：前端（front-end）和后端（back-end）。前端将传感器数据抽取到⽤于估计的模型中，⽽后端则对前端抽取的数据进⾏推断。图2总结了这种架构。我们从后端开始回顾这两个组件。
爷爷的英文最⼤后验(MAP)估计和SLAM后端
SLAM⽬前事实上的标准形式起源于Lu和Milios的开创性论⽂[161]，随后是Gutmann和Konolige的⼯作[101]。从那以后，许多⽅法提⾼了SLAM问题的优化效率和鲁棒性。所有这些⽅法都将SLAM表述为最⼤后验估计（MAP）问题，并经常使⽤因⼦图（factor graphs）[143]的形式来推理变量之间的相互依赖性。
[143] F. R. Kschischang, B. J. Frey, and H. A. Loeliger. Factor Graphs and the Sum-Product Algorithm. IEEE Transactions on Information Theory, 47(2):498–519, 2001.
假设我们要估计⼀个未知变量X，在SLAM中变量X通常包括机器⼈的轨迹(作为⼀组离散的位姿)和环境中的路标的位置。给定⼀组观测值Z={zk : k=1,..,m}，其中每个测量值都可以表⽰为X的函数，⽐如zk=hk(Xk)+εk，其中Xk⊆X是变量的⼦集，hk(.)是已知函数（测量模型或观测模型）。εk是随机测量噪声。
在MAP估计中，我们通过计算得到后验p(X|Z) (the belief over X given the measurements)最⼤值的变量X*来估计X。
这个等式是由贝叶斯定理推导出来的。在(1)中，p(Z|X)是给定X值时测量值Z的可能性，p(X)是先验概率。这个先验概率包括关于X 的任何先验知识；在没有先验知识的情况下，p(X)成为⼀个常数(均匀分布)，此时X⽆关紧要，可以从优化中删除。在这种情况下，MAP估计简化为最⼤似然估计（MLE）。
win10调亮度
与卡尔曼滤波不同，MAP估计不需要明确区分运动模型和观测模型：这两个模型都被视为因⼦（factor），并⽆缝地整合到估计过程中。值得注意的是，卡尔曼滤波和MAP估计在线性⾼斯情况下得到相同的估计结果，但在⾮线性或⾮⾼斯情况下，两者的结果是不同的。
假设各个测量值Z是独⽴的(对应的噪声不相关)，则问题(1)可分解为:
在右边，到zk只依赖于Xk。问题(2)可以通过因⼦图的推理来解释。变量对应于因⼦图中的节点。P(zk|Xk)和先验p(x)称为因⼦，它们对节点⼦集的概率约束进⾏编码。因⼦图是⼀种在第k个因⼦(及其测量值zk)与相应变量Xk之间的依赖性进⾏编码的图模型（graphical model）。因⼦图的第⼀个优点是它能够对问题进⾏深刻的可视化。图3显⽰了⼀个简单SLAM问题下的因⼦图⽰例。
图中显⽰了变量（即机器⼈位姿、路标位置、相机标定参数），以及这些变量之间的约束因⼦。第⼆个优点是通⽤性：因⼦图可以对具有异质变量和因⼦以及任意相互联系的复杂推理问题进⾏建模。因⼦图的连通性反过来影响所产⽣的SLAM问题的稀疏性，如下所述。
为了将(2)写成更明确的形式，假设εk是零均值⾼斯噪声，其信息矩阵（协⽅差矩阵的逆）为Ωk。则(2)中的测量似然为:
其中记
对于给定的函数h0()、先验均值z0、信息矩阵Ω0，假设先验可以写成:
三年级好句子摘抄大全
因为最⼤化后验值和最⼩化负对数后验值（negative log-posterior）是⼀样的，则(2)中的MAP估计可以写为：
正如在⼤多数机器⼈感兴趣的问题⼀样，这是⼀个⾮线性最⼩⼆乘问题，hk(·)是⼀个⾮线性函数。注意公式(4)是根据噪声正态分布的假设得出的。对噪声分布的其他假设得到不同的代价函数；例如，如果噪声服从拉普拉斯分布，则(4)中的平⽅2范数将被1范数取代。为了提⾼对外点的容能⼒，⽤鲁棒损失函数（⽐如Huber或Tukey loss）替代(4)中的平⽅2范数也是常见的。
计算机视觉专家可能会注意到问题(4)和BA在SfM[244]中的相似性;(4)和BA都确实源于⼀个后验公式的最⼤值。
[244] B. Triggs, P. McLauchlan, R. Hartley, and A. Fitzgibbon. Bundle Adjustment - A Modern Synthesis. In W. Triggs, A. Zisrman, and R. Szeliski, editors, Vision Algorithms: Theory and Practice, pages 298–375. Springer, 2000.
