浙大与港科大等突破：AI实现3D场景智能视角选择能力提升

这项由浙江大学、香港科技大学含广州校区、新疆大学、武汉轻工大学、天津大学以及产业机构Vorynel联合完成的研究以预印本形式发布于2025年5月论文编号为arXiv:2605.15597有兴趣深入了解的读者可通过该编号检索完整原文。现代人工智能要理解三维世界就需要大量的视觉原材料——也就是从不同角度拍摄场景所得到的图像、深度信息和拍摄位置数据。然而这些原材料如何收集往往被研究者视为理所当然、不需要认真设计的环节。这篇论文偏偏就是冲着这个被忽视的环节来的。研究团队发现拍摄角度的选择方式从根本上决定了AI最终学到的东西好不好、准不准、有没有重复浪费。他们为此设计了一套名为COVER的全新方法并用它构建了一个叫做CM-EVS的全景图像数据集。接下来就用一个贯穿全文的比喻来解释这套系统——把整件事理解为给一栋陌生的房子拍房产照片。一、为什么随便拍不行——给房子拍照时的困境假设你是一名房产摄影师被委托为一套三居室拍一组完整展示整套房子的照片。你可以选择在每个房间多拍几十张确保万无一失也可以只在门口拍一张简单了事。但这两种做法都有问题前者照片太多、大量重复翻来覆去都是同一面墙后者照片太少看不出卧室和卫生间长什么样。真正的好摄影师会仔细考虑站在哪里能拍到最多新内容哪些角度是重复的哪些角度会因为光线或遮挡让照片失真AI的3D视觉学习面临完全相同的困境只是规模更大、更复杂。研究团队发现当前大量3D场景数据集都存在三类共同问题。第一类是密集轨迹重复也就是像拍视频一样镜头慢慢扫过房间相邻帧之间几乎完全一样大量帧都在描述同一面墙、同一个角落信息高度冗余。第二类是各家标准不统一不同数据集有各自的拍摄规则、深度格式、坐标系定义拿来训练AI就好比同一道菜用了好几套不同的食谱量杯单位都不一样结果当然混乱。第三类是启发式选点不靠谱有些数据集用简单规则来决定在哪里拍比如每隔一米拍一张这可能漏掉走廊拐角等关键区域也可能在同一区域拍了太多重叠的照片而且这种选法常常产生深度矛盾——同一个物体从不同角度拍出来的距离数据对不上就像你从左边量这扇门是2米远从右边量却是1.5米两张照片都有AI就不知道该信哪张。正是因为这三个问题现有的大量3D场景数据集——无论是Matterport3D、ScanNet、HM3D还是Hypersim这些业内赫赫有名的资源——都没能提供一个简洁、可比较、几何一致的全景训练接口。研究团队把自己的工作定位在一个常被忽视的位置3D资产房子的几何模型和AI训练之间的观测层。他们要做的就是把一个3D场景翻译成一组聪明挑选出来的全景图像既不遗漏重要区域又不重复浪费。二、什么是全景图像为什么要用它——一张照片看遍四面八方普通照片就像站在房间里往一个方向看只能拍到前方一扇窗、一面墙。全景图像则不同它用一种叫做等距柱状投影ERP的方式把从某一点出发、四面八方360度所有方向的视觉信息都压缩进一张矩形图片里就像把地球仪展开成世界地图那样——虽然边缘会有些变形但信息是完整的。这种全景图像对AI学习三维场景有独特价值。一张ERP图像不只包含颜色还同时包含每个方向的真实距离叫做度量深度也就是从相机到那个方向最近物体的实际米数以及相机当时所在位置和朝向叫做位姿。三种信息打包在一起就给了AI一个非常丰富的房间快照——不仅知道这里有一张桌子还知道桌子离相机有多远、相机站在哪里。这种格式在全景深度估计、全景场景重建、360度场景生成等任务中都非常有用。然而拥有好的格式还不够。如何聪明地决定在哪些位置拍这些全景图才是这篇论文真正要回答的问题。三、COVER一个懂得查漏补缺又能避免矛盾的选点方法研究团队给自己的方法起了一个巧妙的名字——COVER中文意思是覆盖全称是基于等距柱状投影深度变形的覆盖导向视角筛选。这个名字本身就道出了核心逻辑选出能最大化场景覆盖、同时避免深度数据自相矛盾的拍摄位置。还是用房产摄影师的比喻来理解COVER的工作方式。摄影师手里拿着一张房子的3D模型以及一份候选拍摄位置清单可能有几百个点。他们面临的任务是在有限的拍摄次数比如只能拍25张内选出最有价值的25个位置。COVER的做法分成三个核心步骤循环进行。首先是累积已知信息——每拍一张把这张全景图里测量到的所有深度信息转化成一片点云你可以把点云想象成用密密麻麻的点描绘出房间形状的三维地图把这张地图存下来。其次是用已知信息预判新候选点的价值——对于还没拍的每一个候选位置COVER会做一个快速的低分辨率模拟把之前积累的点云投影到这个候选位置的视角里看看这个位置能看到多少已经记录过的内容叫做历史可见区域再快速渲染一下这个位置本身能看到什么叫做探针帧。两者一对比就能计算出三种像素已经解释过的像素双方吻合、全新的像素候选点能看到但历史记录里没有的、以及矛盾的像素候选点测量的距离和历史记录不一样差距超过了阈值。最后是打分、选最优、更新地图——COVER用一个简单的公式给每个候选点打分新像素的比例越高越好代表能看到更多新内容减去矛盾像素的比例乘以一个惩罚系数这个系数叫做λ默认值是0.35。得分最高的位置胜出真正高分辨率地渲染这张全景图把新观测到的点云加入地图然后进入下一轮循环。这里有一个细节值得特别说明为什么不直接对所有候选点都做高分辨率渲染、然后再选最好的答案是代价太高——一个典型场景可能有数千个候选点每次循环都全部高清渲染计算量是最终只渲染K张选定图像的100到1000倍。COVER用低分辨率的快速预判代替高清渲染虽然会引入一点点误差但这个误差是可以理论分析和控制的。研究团队在论文中严格证明了一条定理引理1即使存在这种预判误差COVER最终选出的K张图像所覆盖的场景内容仍然不低于理论最优选法的覆盖量的(1-1/e)倍大约是63%再减去一个与误差和矛盾率相关的附加损失项。换句话说COVER的性能是有数学保证的不会比理论最优差太多。实验数据也印证了这一点COVER的快速预判方法在31个Blender室内场景上测试相比全部高清预渲染的精确方法最终覆盖率的差距只有8.1个百分点但计算速度快了133倍。深度矛盾阈值δ被设定为场景包围盒对角线长度的0.5%不同来源的数据有各自的微调值。λ0.35这个默认值不是拍脑袋定的而是经过系统性实验验证的——研究团队在λ0、0.05、0.1、0.2、0.35、0.5、0.75、1.0共8个取值上做了对比实验发现λ0时系统直接崩溃选出的点高度集中在场景中某个偏角落的小区域里覆盖率只有不到20%而λ在0.1到0.5之间形成一个宽阔的稳定平台覆盖率都在37%到43%之间λ0.35处于这个平台的中间是保守而稳健的选择。COVER还有一个实用的自动停止机制当新增的覆盖率收益连续两步都低于1%时就自动停止继续选点。这让同一套方法能自适应地处理大小不同的场景——小房间早早饱和、大型开放式办公室则会多选几张而不是所有场景都强行选同样数量的照片。四、COVER的完整流程从原始3D资产到标准全景数据整个COVER流程分三个阶段运行。第一阶段叫资产标准化负责把来自不同来源的3D场景可能是Blender的.blend文件、3D扫描得到的.ply点云、或者仿真环境的模型统一转换到同一套坐标系和格式下。最终采用的世界坐标系是右手系X向右Y向上Z向前相机坐标系遵循OpenCV惯例位姿用一个四元数四个数描述方向加上相机位置来表示全景图用经纬度对应到像素的标准球面投影方式。第二阶段叫候选点生成负责在3D场景里撒出一批备选拍摄位置然后用一个26方向2个垂直方向共28条光线的几何合法性检验过滤掉不合理的位置。具体来说七层过滤规则分别拒绝以下情况相机嵌进墙里或屋顶、相机贴近几何体内部、相机卡在角落超过一半方向都被近距墙体遮挡、相机被完全封闭的小空间包围、相机离墙太近、相机视野里几乎看不到有效深度范围内的表面、以及相机处于狭窄缝隙末端。针对不同来源候选点的生成方式各有差异——Blender室内场景用水平网格加上多层高度采样HM3D仿真场景利用导航网格和房间标签来提出候选ScanNet真实扫描场景则从点云或网格上采样候选位置。第三阶段就是之前介绍的预算内贪心选点循环也就是COVER的核心算法。从一个被选为种子点的初始位置出发选距场景包围盒中心最近的32个候选中单视角覆盖最大的那个反复执行低分辨率评分→选最高分→高分辨率渲染→更新点云地图的循环直到预算用完或收益降到阈值以下。除了上述三个阶段适用的策展适配器针对Blender室内、HM3D、ScanNet研究团队还为另外两个数据源提供了重编码适配器针对TartanGround和OB3D。这两个来源本身已经提供了密集的轨迹式RGB-D-位姿序列所以不需要再运行COVER来选点只需要把它们的格式统一转换成CM-EVS的标准格式即可。转换时立方体贴图渲染被重新编码为等距柱状全景图位姿被重新表达为统一的右手Y轴向上的世界到相机变换然后完整的轨迹序列作为户外全景数据一起发布。五、CM-EVS数据集这批精挑细选的全景照片长什么样用COVER处理完所有来源之后得到的就是CM-EVSCoverage-curated Metric ERP View Set覆盖导向度量等距柱状图视图集。这是一个包含多个来源、统一格式、附带完整溯源日志的全景RGB-D-位姿数据集。就数量而言室内策展核心部分包含来自1275个场景的36373帧全景图像具体分布是Blender室内场景374个、共13631帧图像分辨率2048×1024中位数深度1.85米以CC-BY 4.0协议完全公开HM3D场景401个、共14475帧分辨率1024×512中位数深度1.63米因版权限制提供重生成脚本ScanNet场景500个、共8267帧分辨率1024×512中位数深度1.38米同样提供重生成脚本。户外扩展部分来自TartanGround的63个环境共783944帧完整轨迹每环境中位数9360帧和OB3D的12个场景共2400帧。加总起来整个数据集包含1350个场景单元共822717帧。每一帧图像都附带三种模态的信息全景RGB图像完整的360度彩色图、米制度量深度图每个像素方向上最近表面的实际米数float32格式、以及校准好的相机位姿。对于由COVER生成的室内帧还额外附带每一步的溯源日志记录了该步骤的覆盖收益Gt、深度冲突率Lt、综合评分st以及所有候选点的位置信息和最终被选中的视点。这意味着用户不仅拿到了数据还拿到了这些数据是怎么被选出来的的完整记录可以用来复现、诊断或者替换成其他选点策略在同一批候选点上重新跑。场景类型多样性是CM-EVS的一大特点。研究团队将所有场景手动归入13个统一的粗粒度房间类型卧室、客厅、厨房、餐厅、浴室、办公室、走廊、储藏间/杂物间、商业/停车、教室、阶梯/楼梯、阁楼/地下室、图书馆/书房以及科幻、奇幻、游戏、动漫等风格化类别CM-EVS是对比的五个基准数据集中唯一覆盖全部13个类别的。其香农熵为3.10比特与Matterport3D3.15比特和Hypersim2.98比特处于同一档次基尼集中度系数为0.49越低代表分布越均匀。Blender室内数据补充了真实扫描场景缺乏的商业空间、阁楼、地下室、图书馆等类型而HM3D和ScanNet则提供了大量住宅类房间卧室客厅厨房合计超过60%。低冗余度是CM-EVS最鲜明的特征。室内场景每个场景中位数只有25帧最少的ScanNet场景可以低到12帧最多的复杂Blender室内场景也不超过53帧IQR跨度是27到53帧。相比之下Hypersim每场景168帧、Matrix-Pano约138帧、360DVD约100帧、Matterport3D约120帧CM-EVS大约只用了这些数据集的四分之一到七分之一的帧数。从一个具体例子来看在一个开放式办公室场景有接待区、会议室、工作站群组、小厨房四个功能区中K8时在大约第6步就覆盖了全部四个功能区K30时覆盖收益在大约第22步就降到了1%阈值以下说明此时场景已经被充分覆盖继续拍只是浪费。六、与现有方法的对比COVER的优势在哪里体现研究团队在实验中将COVER与四种基线方法进行了系统对比所有方法在同一批候选点、同一个初始种子点上运行以确保公平。第一种基线是随机选点从候选点里随机选K个完全不考虑覆盖或冲突。第二种是单视角探针只从初始种子点的视角出发评估所有候选点然后选前K个相当于用第一张照片的视角判断后续所有照片的价值不迭代更新。第三种是纯覆盖贪心完全按照每步新增覆盖率排名不考虑深度冲突等价于λ0的COVER。第四种是纯低冲突完全按照深度冲突率最低来排名不考虑覆盖收益。在K4的固定预算实验中随机选点和单视角探针的覆盖率分别只有0.96%和0.21%这两个非迭代方法因为没有利用已知信息来指导后续选择表现极差纯覆盖贪心达到10.55%覆盖率但冲突率为1.93%纯低冲突达到10.25%覆盖率冲突率1.64%而COVER则达到10.32%覆盖率、冲突率1.70%。直观上看COVER的覆盖率与纯覆盖贪心几乎相同仅差0.23个百分点但冲突率比纯覆盖贪心低了12%同时又比纯低冲突方法的覆盖率更高。这说明λ0.35的惩罚项起到的是重新排名的作用而不是缩减覆盖的作用。在K30的更大预算实验中跨三个来源的测试结果显示Blender室内场景覆盖率0.413、冲突率0.018HM3D场景覆盖率0.393、冲突率0.071ScanNet场景覆盖率0.735、冲突率0.010。ScanNet的覆盖率高出约1.8倍这是因为ScanNet的场景都是单个房间大小的小空间候选点少、贪心选法很快就能饱和。HM3D的冲突率高出4倍左右与它的真实扫描来源的几何噪声更大一致。尽管三个来源在统计特性上差异如此显著同一套固定超参数λ0.35早停τ1%m2步在三个来源上都给出了稳定的运行结果没有出现在某个来源上特别好但另一个来源上崩溃的情况。七、这套方法的边界和未来计划研究团队在论文中也坦诚地指出了若干局限。整个评估聚焦在策展层的指标上——也就是覆盖率和深度冲突率——而不是AI在下游任务比如全景深度估计、新视角合成、3D重建上的实际表现提升。这不是回避而是对论文工作边界的诚实界定COVER和CM-EVS提供的是原材料和筛选工具具体用这些材料训练的AI能不能比用其他数据集训练的AI更好需要另外的实验来验证。HM3D和ScanNet的帧图像因为版权问题不能直接发布用户需要按照发布的适配器脚本在自己同意上游许可协议后本地重新生成这增加了使用门槛。户外全景帧TartanGround和OB3D是完整轨迹重编码没有经过COVER筛选也没有每步的溯源日志与室内策展帧不完全对等。50个被记录在案的失败案例也揭示了系统的薄弱环节并被归类为五种失败模式相机嵌入墙体或贴近墙壁F1、网格或扫描不完整导致深度图出现大片空洞F2、点云重建产生的融化几何或幽灵点F3主要出现在ScanNet的点云适配器模式、材质或光照失败导致图像全黑或全洋红F4仅出现在Blender合成场景、以及场景超出室内范围成为半室外或完全户外环境F5。这些失败案例都已被排除在公开发布的数据之外并连同完整的帧序列、深度图和位姿文件一起打包在坏案例目录里让用户可以自己复现并理解这些失败是如何发生的。研究团队已规划了v1.1版本的改进路线收紧墙体邻近度过滤解决F1残余在每步溯源日志中新增无效深度像素比率字段方便用户按质量排序解决F2为ScanNet提供可选的网格重建回退路径解决F3以及新增渲染后色彩直方图检验拒绝超过20%纯洋红或纯黑像素的帧解决F4。同时团队计划将COVER扩展到动态场景并在发布的帧上系统评测全景深度估计、全景新视角合成、3D重建和世界模型预训练等下游任务。说到底这篇论文做的事情是给AI的视觉进食方式做了一次彻底的优化。以前大家往往是把一堆照片塞给AI多多益善或者用简单规则随便挑几张而这个团队认真研究了到底该在哪里拍、拍多少才够、怎么确保不同角度的深度数据不打架。他们用数学证明了这种贪心选法的合理性用实验验证了它在速度和质量上的平衡还把整个选点过程的每一个细节都记录下来、公开发布让任何人都能复现或改进。这种把数据制作过程本身当成可审查、可复现的科研成果的态度比数据集本身的规模更有价值。对于未来想要研究全景场景理解、三维重建或空间智能的研究者来说CM-EVS不只是一个数据集更是一套思考怎样聪明地观察世界的方法框架。有兴趣深入研究的读者可以通过arXiv编号2605.15597找到完整论文并通过论文中提供的匿名代码仓库获取数据集和代码。QAQ1CM-EVS数据集包含哪些内容和其他3D场景数据集有什么区别ACM-EVS包含来自1275个室内场景的36373帧全景图像每帧同时提供360度彩色图、每像素方向的实际距离深度图和相机位姿还有完整的选点溯源日志。与Matterport3D、ScanNet等数据集相比CM-EVS最大的不同在于它的每个场景只用中位数25帧比现有数据集少了4到7倍但场景覆盖的完整性不差13种房间类型全部覆盖而且每一帧是怎么被选出来的都有详细记录。Q2COVER方法为什么要同时考虑覆盖率和深度冲突两个指标只优化覆盖率不行吗A只优化覆盖率会导致选出的视点集中在场景中某个特定区域看似每步都在增加新内容实际上是因为选了一堆互相邻近、视角相似的点。实验证明λ0时覆盖率只有18%还不如加了惩罚的版本。更重要的是如果不惩罚深度冲突不同视角测量同一物体的距离会产生矛盾AI训练时就会学到自相矛盾的几何信息影响最终模型质量。Q3COVER方法运行速度怎么样能用在大规模数据处理上吗ACOVER用低分辨率快速预判代替了对每个候选点的高清渲染在31个Blender室内场景的测试中相比对所有候选点全部高清渲染再选的精确方法速度快了约133倍仅用0.014 GPU小时而精确方法需要1.74 GPU小时最终覆盖率只损失约8个百分点。整个1275个室内场景的数据分析脚本在8块H100 GPU的服务器上约13分钟就能处理完。