070、深度相机与 RGB 相机对齐不准？联合标定、外参优化与 RGB-D 对齐工程方案

070、深度相机与 RGB 相机对齐不准？联合标定、外参优化与 RGB-D 对齐工程方案一、从一次深夜调试说起凌晨两点，实验室的空调早就停了，我盯着屏幕上那个深度图与RGB图叠加后的鬼影——边缘错位、物体轮廓像喝醉了酒，深度图里桌子的边缘在RGB图像里跑到椅子腿上去了。这不是第一次了。上一周刚用OpenCV的棋盘格标定法跑了一遍，外参矩阵看着挺漂亮，重投影误差0.3个像素，可一上真实场景就露馅。后来我才意识到，问题出在“标定板”和“真实场景”之间那条看不见的鸿沟——深度相机的噪声模型、温度漂移、甚至镜头畸变残差，都不是一个简单的棋盘格能覆盖的。这种“对齐不准”的痛，做过RGB-D融合的人应该都懂。今天这篇笔记，就聊聊我踩过的坑和最终落地的工程方案。二、联合标定：别只盯着棋盘格很多人一上来就套用张正友标定法，把深度相机当普通相机处理。这里有个大坑：深度相机的“成像”不是简单的透视投影，尤其是ToF和结构光方案，它们的深度值本身就有系统偏差。比如Intel RealSense D435，出厂标定文件里有个“depth distortion”参数，如果你直接用OpenCV的calibrateCamera去算外参，等于把深度相机的内参和畸变模型强行塞进针孔模型里，结果就是标定板上的角点对得挺准，但场景里的物体边缘全飘了。正确做法：联合标定必须同时优化深度相机的内参、畸变参数、以及RGB相机的外参。我推荐用Kalibr