LIO-SAM 优化方向综述：从因子图到多模态SLAM

前言LIO-SAM 在 2020 年通过因子图 iSAM2 增量优化的组合在激光SLAM领域树立了紧耦合多传感器融合的标杆。但其设计也存在优化空间GTSAM 依赖导致安装门槛高、回环检测依赖 ICP 精度、未融合视觉信息。本文梳理 LIO-SAM 系列及竞品的发展脉络。1. LIO-SAM 系列演进全景LeGO-LOAM (Shan, 2018) │ 核心地面分割 轻量级 回环检测 │ 局限无 IMU纯激光精度受限 │ ├── LIO-SAM (Shan, 2020) │ 改进IMU 预积分 GPS 因子图优化 │ 影响自动驾驶SLAM标配 │ ├── LIO-SAM-ROS2 (社区, 2023) │ 改进ROS2 Humble 移植 │ ├── LVI-SAM (Shan, 2021) │ 改进视觉-激光-惯性全融合 │ 核心两个子系统互补VIS 视觉 LIS 激光 │ ├── R3LIVE (Lin, 2022) │ 改进实时彩色3D重建 激光-视觉-惯性融合 │ ├── FAST-LIO-SAM (社区融合, 2023) │ 改进Fast-LIO2 前端 LIO-SAM 后端 │ └── LVIO-SAM (最新, 2024) 改进统一视觉-激光-惯性因子图 深度学习描述子2. 方向一视觉-激光-惯性融合 (LVI-SAM)2.1 为什么需要视觉激光雷达的退化场景 相机能补充 ├── 长走廊几何退化 ├── 丰富的纹理特征 ├── 开阔空间结构单一 ├── 视觉回环更鲁棒 └── 雨天/雾天衰减严重 └── 语义信息 相机的退化场景 激光雷达能补充 ├── 暗光/过曝 ├── 主动发光全天候 ├── 无纹理白墙 ├── 精确3D几何 └── 快速运动模糊 └── 运动模糊不敏感2.2 LVI-SAM 的双子系统架构┌──────────────────────────────────────────────────┐ │ LVI-SAM │ │ │ │ ┌─────────────────┐ ┌─────────────────┐ │ │ │ VIS 视觉子系统 │ │ LIS 激光子系统 │ │ │ │ (基于VINS-Mono) │ │ (基于LIO-SAM) │ │ │ └────────┬────────┘ └────────┬────────┘ │ │ │ │ │ │ └──────────┬──────────┘ │ │ ▼ │ │ ┌─────────────────┐ │ │ │ 联合初始化 │ │ │ │ (视觉深度→激光) │ │ │ └─────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────┐ │ │ │ 互补失败检测 │ │ │ │ 任一子系统失败 │ │ │ │ → 另一系统继续 │ │ │ └─────────────────┘ │ └──────────────────────────────────────────────────┘LVI-SAM 的核心创新VIS 失败时暗光/运动模糊→ LIS 继续提供位姿LIS 失败时几何退化→ VIS 继续提供位姿视觉深度初始化由激光提供不需要视觉SFM联合回环检测视觉 激光双重验证3. 方向二高效前端替代 (FAST-LIO-SAM)3.1 问题LIO-SAM 的 LiDAR 前端特征提取 KD-Tree 匹配计算量较大~30ms拖累了整体效率。3.2 FAST-LIO-SAM社区融合方案传统 LIO-SAM: A-LOAM 式前端 (特征 KD-Tree Ceres优化, ~30ms) │ ▼ LIO-SAM 后端 (因子图 回环, ~15ms) 总耗时 ~45ms FAST-LIO-SAM: Fast-LIO2 前端 (IESKF ikd-Tree, ~3ms) │ ▼ LIO-SAM 后端 (因子图 回环, ~15ms) 总耗时 ~18ms → 速度提升 2.5× 且精度更高IMU 紧耦合前端比松耦合前端鲁棒4. 方向三彩色3D重建 (R3LIVE)4.1 R3LIVE 的创新R3LIVE 将彩色相机信息融入 LIO 框架实时生成带有颜色信息的3D点云地图R3LIVE 架构: 激光点云 IMU 相机图像 │ ▼ ┌────────────────┐ │ IESKF 状态估计 │ ← 同 Fast-LIO2 的 IESKF │ (激光惯性) │ └───────┬────────┘ │ ▼ ┌────────────────┐ │ 点云纹理着色 │ │ - 将激光点投影到 │ │ 相机图像上 │ │ - 双线性插值取色 │ │ - 更新体素颜色 │ └───────┬────────┘ │ ▼ 实时彩色 3D 点云地图4.2 与 LIO-SAM 的对比特性LIO-SAMR3LIVE传感器LiDARIMUGPSLiDARIMUCamera输出地图激光点云白色彩色激光点云优化方式GTSAM 因子图IESKF 滤波回环检测有无GPS支持不支持视觉融合无有纹理着色5. 方向四回环检测增强5.1 LIO-SAM 回环检测的局限LIO-SAM 使用欧氏距离 ICP回环检测存在两个问题视角变化敏感从不同方向回到同一地点时ICP 可能无法收敛计算效率低ICP 迭代 100 次在大地图中成为瓶颈5.2 Scan Context 改进LIO-SAM Scan Context: 1. 关键帧 → 计算 Scan Context 描述子2D矩阵 2. 在历史描述子数据库中搜索最相似 3. 用列偏移rotation-invariant找到最佳匹配 4. 候选帧 ICP 验证 → 回环因子5.3 深度学习回环检测方法描述子类型对视角变化的鲁棒性Scan Context手工高度分布中Intensity Scan Context手工反射率中高OverlapNet学习CNN高LCDNet学习Transformer极高6. 方向五多机器人协同6.1 问题单机器人 LIO-SAM 只能构建局部地图。多机器人协同SLAM可以构建更大的地图。6.2 方案机器人A: LIO-SAM 建图 机器人B: LIO-SAM 建图 │ │ ▼ ▼ 局部因子图A 局部因子图B │ │ └───────────┬───────────────────┘ │ ▼ ┌─────────────────────┐ │ 机器人间回环检测 │ │ (共同区域的重叠检测) │ └──────────┬──────────┘ │ ▼ ┌─────────────────────┐ │ 联合因子图优化 │ │ 全局一致性地图 │ └─────────────────────┘代表工作DiSCo-SLAM分布式激光SLAM协同、DCL-SLAM7. 方向六动态环境处理7.1 动态物体的影响自动驾驶场景中的行人、车辆等动态物体会在激光点云中产生鬼影——错误的地图点和错误的匹配对应。7.2 处理方案方案方法对LIO-SAM的改动语义剔除RangeNet 逐点分割 → 剔除人车标签前端预处理一致性检查匹配后残差分布分析 → 剔除大残差点残差级改动地图减法当前帧 - 历史地图 → 动态区域 → 移除地图点后端改动跟踪预测Kalman 跟踪动态物体 → 预测位置 → 避免匹配匹配阶段改动8. 方向七深度学习增强8.1 IMU 降噪用 LSTM/Transformer 网络学习 IMU 噪声模式输出去噪后的 IMU 测量 → 提升预积分精度。8.2 自适应噪声协方差用网络预测当前帧的 LiDAR 匹配质量 → 动态调整因子图中的ΣLiDAR\Sigma_{LiDAR}ΣLiDAR​。8.3 特征学习用 PointNet 替代手工曲率特征 → 更鲁棒的特征提取特别是在稀疏/噪声点云中。8.4 端到端因子图输入IMU 序列 激光点云序列 │ ▼ 神经网络编码器 │ ▼ 输出因子图节点 因子 │ ▼ 传统 GTSAM iSAM2 求解9. 各系统特色速查系统年份传感器回环视觉GPS特点LeGO-LOAM2018LiDAR✓✗✗地面分割 轻量LIO-SAM2020LiDARIMUGPS✓✗✓因子图紧耦合LVI-SAM2021LiDAR视觉IMU✓✓✗激光视觉互补R3LIVE2022LiDAR视觉IMU✗✓✗实时彩色重建FAST-LIO22021LiDARIMU✗✗✗极致速度FAST-LIO-SAM2023LiDARIMU✓✗✗Fast-LIO前端 SAM后端FAST-LIVO22024LiDAR视觉IMU✗✓✗多模态紧耦合10. 总结LIO-SAM 系列的优化方向可以概括为三融合传感器融合 (激光视觉惯性)从单激光到 LIO-SAM再到 LVI-SAM/FAST-LIVO2异构传感器互补方法融合优化滤波FAST-LIO-SAM 结合了滤波的效率前端和优化的全局性后端智能融合传统学习深度学习逐步渗透到特征提取、噪声建模、回环检测等模块未来的激光SLAM将走向全模态、全场景、零延迟的方向R3LIVE 和 FAST-LIVO2 已经展示了这条路径的可行性。