港科大沈劭劼、谭平团队最新成果：开源280万全景数据集，实现零样本立体匹配

「一举攻克全景3D视觉两大瓶颈」目录01 行业痛点数据匮乏与畸变失效的双重桎梏1. 数据集稀缺泛化能力受限2. 球面畸变破坏单目先验一致性02 核心突破超大数据与航向对齐先验双驱动1. 280万级合成数据集打破数据壁垒2. 航向对齐法向量适配球面几何3. 迭代匹配架构兼顾精度与效率03 实验验证零样本性能全面领先1. 跨域数据集碾压对比2. 消融实验验证核心设计3. 真实环境与里程计落地04 行业价值与局限1. 核心价值2. 现存局限05 总结全景立体匹配能让机器人在未知环境里实时感知360°的三维深度这是导航和AR/VR的关键能力。上下排布的全景相机是获取这种能力的核心硬件但用它来做高精度立体匹配目前卡在两个地方一是带标注的训练数据太少模型换个场景就容易失效二是全景图像特有的球面畸变让很多在透视图像上很成熟的模型方法直接“水土不服”。针对这个问题香港科技大学沈劭劼教授联合谭平教授团队提出了H-OmniStereo。他们没有沿着小数据修修补补的旧路走而是直接构建了一个超大规模合成数据集来打破数据瓶颈并设计了一种航向对齐法向量先验来适配球面几何最终实现了零样本全景立体匹配。图| 上下全景相机对与全景立体匹配重建效果01 行业痛点数据匮乏与畸变失效的双重桎梏全景立体匹配的核心优势是上下相机形成的垂直对极线可直接适配透视立体匹配的成熟架构。但从透视到全景的迁移并非易事核心矛盾集中在两方面图| 现有上下全景立体数据集对比1. 数据集稀缺泛化能力受限现有全景立体数据集规模极小最大仅4万对图像且场景多局限于室内、相机参数固定。模型多在同域数据训练测试零样本泛化能力极差难以适配户外、动态场景及消费级相机的多变参数。2. 球面畸变破坏单目先验一致性透视图像训练的单目深度模型在全景球面畸变下精度骤降。而全景深度模型预测的是到球面中心的距离同一3D点在上下视图中深度值不一致导致先验特征不可靠。此外全景图像航向旋转不改变局部模式但固定坐标系下的法向量会随视角变化模型需区分相同模式的不同法向量训练效率低且易过拟合。这些问题导致现有方法如360SD-NET、MODE在跨域场景中误差极高难以落地真实环境。02 核心突破超大数据与航向对齐先验双驱动H-OmniStereo的核心创新是超大规模合成数据集与航向对齐法向量估计从数据和模型设计层面同时破解行业难题。1. 280万级合成数据集打破数据壁垒图| 合成全景立体数据集样本团队基于NVIDIA Isaac Sim构建超大规模全景立体合成数据集包含283万对上下等矩形图像是现有数据集的70倍。数据集设计兼顾规模与多样性场景多元涵盖室内外、结构化场景GRUtopia、HM3D与随机混沌场景融合80万高分辨率3D资产参数随机化相机基线0.05–0.5米、姿态滚转/俯仰±45°随机生成覆盖真实消费级相机参数范围标注完备每帧包含精准深度、表面法线标签为多任务训练提供监督。该数据集不仅规模空前更通过随机布局模拟真实世界复杂性为零样本泛化提供数据基础且将开源共享。2. 航向对齐法向量适配球面几何图| 标准相机坐标系法 vs 航向对齐法传统全景法向量在固定相机坐标系定义忽略航向旋转不变性导致特征不一致。H-OmniStereo提出航向对齐法向量先验核心是让法向量随像素经度旋转公式如下其中为相机坐标系法向量为像素经度角。该设计实现三大优势旋转不变性相同局部模式对应相同法向量模型无需区分重复模式训练效率提升跨视图一致同一经度像素共享坐标系上下视图法向量特征对齐畸变鲁棒适配球面几何缓解边缘区域畸变影响。团队用840万全景图像含合成数据与公开数据集训练法向量估计器为立体匹配提供几何先验。3. 迭代匹配架构兼顾精度与效率H-OmniStereo采用混合特征迭代优化框架图| H-OmniStereo 整体网络架构特征提取冻结预训练法向量估计器提取几何特征结合侧调适配器融合图像外观特征构建混合特征代价体构建生成3D相关代价体与4D混合代价体通过注意力混合滤波聚合信息迭代优化用ConvGRU迭代细化视差同步预测不确定性过滤不可靠匹配点提升精度损失设计分三阶段训练——法向量角损失、视差平滑L1损失、不确定性负对数似然损失逐步优化模型。03 实验验证零样本性能全面领先1. 跨域数据集碾压对比图| 全景立体匹配定量对比3D60/3D60Warp/MVS GI在3D60、3D60Warp旋转鲁棒性、MVS GI户外泛化三大跨域测试集上H-OmniStereo的MAE、RMSE等核心指标远优于现有方法误差仅为360SD-NET的1/6、MODE的1/9。定性结果显示其视差图边界更清晰、无纹理区域更平滑点云重建细节更丰富。图| 视差图定性对比360SD-Net、MODE、 ours2. 消融实验验证核心设计数据规模数据集从52万增至283万MAE从0.147降至0.103证明规模与多样性的重要性图| 训练数据规模消融航向对齐相比固定坐标系全图MAE降低15%中心裁剪视野不匹配场景降低76%鲁棒性显著提升图| 航向对齐法与固定法的消融全图 中心裁剪先验对比航向对齐法向量优于DepthAnythingV2、DA²等单目模型球面畸变下特征更可靠。图| 单目先验消融对比3. 真实环境与里程计落地模型直接适配消费级全景相机无需微调即可重建清晰家具、平整墙面。集成至全景视觉里程计后在 unseen 场景轨迹误差降低30%可实时0.47秒完成三维重建与轨迹估计。04 行业价值与局限1. 核心价值数据开源280万级全景数据集将大幅推动领域研究缓解数据稀缺痛点范式创新航向对齐先验为全景几何建模提供新思路可迁移至深度估计、分割等任务落地可行单模型适配多场景、多相机无需微调降低部署成本。图| 全景视觉里程计姿态误差对比2. 现存局限合成数据与真实域差距虽多样化但与真实世界光照、材质仍有差距标定敏感性依赖相机内参标定误差影响精度动态场景弱静态场景表现优动态物体匹配仍需优化。05 总结H-OmniStereo以超大规模合成数据航向对齐法向量为核心打破全景立体匹配的数据与几何双重瓶颈实现零样本跨域泛化。其不仅提供高性能模型与开源数据更确立“数据规模化几何感知先验”的行业新方向为机器人、AR/VR等领域的全场景三维感知提供关键支撑。未来结合真实数据微调、优化动态场景适配、降低标定依赖将进一步推动全景立体匹配从实验室走向大规模落地。Ref论文标题H-OmniStereo: Zero-Shot Omnidirectional Stereo Matching with Heading-Aligned Normal Priors论文链接https://arxiv.org/pdf/2605.14963