机器人学会“想象”：小米发布统一具身合成模型U0，让智能体在脑海中预演未来

在实验室里一台双机械臂机器人正面对一项新任务将散落的耳机和充电仓整理收纳。它从未在当前的桌布纹理和特定光照条件下练习过但任务开始后机械臂流畅地定位、抓取、放置最终合上仓盖一气呵成。这背后并非它拥有海量的同类场景训练数据而是因为它搭载的“世界模型”能在执行前于脑海中“想象”并推演了整个操作过程。这正是具身智能Embodied AI追求的愿景智能体不仅能感知环境更能理解物理规则并基于对未来的“想象”做出决策。然而让AI模型生成符合物理规律、视角一致且能与机器人本体状态兼容的“想象画面”一直是巨大挑战。现有的图像、视频生成大模型虽能创造逼真内容却难以保证多视角几何一致性也常忽略机器人的运动学约束。近日小米机器人团队发布了Xiaomi-Robotics-U0简称U0一个参数量达380亿的统一具身合成模型。它创新性地将具身生成视为基础图像与视频生成的自然延伸首次在一个自回归框架内统一了文生图、图编辑、具身场景生成、具身迁移和具身视频生成五大能力。这不仅让机器人拥有了高质量“想象”与规划的能力更使其成为一个强大的合成数据引擎为下游策略学习提供近乎无限的训练素材。研究背景从“观看”到“交互”的鸿沟近年来基于互联网海量数据训练的基础图像与视频生成模型取得了长足进步在语义理解、可控生成和视觉推理方面展现出强大能力。这些大模型能够根据多模态输入合成高度逼真的图像和视频其泛化能力往往远超训练数据的分布范围。这种能力使其成为具身智能极具吸引力的起点——机器人需要在行动前对复杂环境进行推理并“想象”未来的交互。然而具身生成带来了与常规图像视频合成截然不同的根本性挑战。与自然图像生成不同具身场景要求严格的多视角一致性不同摄像头拍摄的画面中物体身份、位置、尺寸和遮挡关系必须统一。精确的几何与物理连贯性生成的观测必须符合三维空间几何和物理规律。显式的机器人本体约束生成的机器人状态必须与其运动学、摄像头校准参数兼容而不仅仅是看起来逼真。直接应用现有的基础图像或视频生成模型到具身场景往往会导致几何不一致、机器人状态不合理以及与机器人控制兼容性差等问题。现有的具身世界模型尝试通过使用机器人轨迹或第一人称操作视频来持续微调预训练的基础模型以弥合这一差距。虽然这些方法取得了鼓舞人心的进展但其适应范式与基础模型的预训练存在根本差异。微调通常仅在机器人专用数据集上进行而这类数据集的规模、多样性与互联网规模的视觉语料库相比要小得多、重复性也高。这种适应不可避免地削弱了从基础模型继承的泛化能力限制了具身生成的多样性、可控性和可扩展性。核心创新统一的具身合成范式Xiaomi-Robotics-U0 的核心思路在于不将基础模型特化为一个机器人专用生成器而是将具身合成重新定义为基础图像与视频生成的自然延伸。图1Xiaomi-Robotics-U0的具身与通用能力概览图1U0的具身与通用能力。矩形框对应同一本体下的初始观测、配对迁移样本以及视频关键帧。所有帧均为参考或生成的图像。研究团队从一个已具备强大图像生成和图文交错建模能力的世界基础模型基于Qwen-3-32B出发在统一的自回归目标下持续在通用领域和具身数据集上进行联合训练。模型同时学习文生图、图编辑、具身场景生成、具身迁移和具身视频生成。图2U0支持的所有任务概览。灰色输入橙色输出。这种统一框架的关键优势在于它在让模型适应机器人中心的多视角推理和交互建模的同时完整保留了基础模型丰富的语义知识和可控生成能力。所有任务都被表示为统一的多模态词元序列并通过同一个“预测下一个词元”的目标进行优化使得知识能够在图像生成、场景理解、具身推理和未来预测之间自然共享。关键技术详解1. 结构化可控的具身迁移这是U0的一项标志性能力。给定一个多视角的深度图表征场景几何和一段希望改变场景要素如背景、光照、工作台面的文本描述模型能够生成符合新描述、且严格遵循输入几何约束的多视角一致RGB图像。图3具身迁移的定性结果。每个例子展示了场景描述、从中提取深度条件的原始多视角RGB图像以及U0生成的图像。模型在遵循编辑后文本的同时也严格遵守了输入深度图的几何条件。研究团队引入了结构化控制公式将工作空间、背景、前景无关物体、目标物体和光照分解为独立的控制维度。这使得在保持几何一致性和交互动态的前提下进行可扩展的具身视频增强成为可能。在基准测试中U0在深度一致性、结构保真度和语义 grounding 等所有指标上均大幅领先于GPT-Image-2.0。2. 高质量多视角具身场景生成U0能够根据对机器人本体类型和场景的文本描述直接生成多视角、几何一致的初始机器人观测画面。这相当于为机器人“凭空”创造了一个符合物理规则的虚拟训练场景。图4U0为不同机器人本体类型生成的具身场景。模型能够根据开放域的文本描述生成逼真且几何一致的多视角初始场景。在人工 pairwise 评估中U0在大多数对比中胜过了GPT-Image-2.0在多视角一致性方面优势明显同时在指令跟随方面保持可比性能。GPT-Image-2.0生成的单张图像质量高但跨视角存在严重的几何不一致如物体位置、尺度冲突等而U0生成的各视角观测则具有统一的空间布局。3. 从静态场景到序列世界建模U0不仅限于单步生成还通过交错的多任务-子目标学习和多帧率具身视频生成将具身生成扩展到序列化的世界建模。这意味着模型可以从一个合成的初始场景出发根据语言指令连贯地“推演”出整个操作过程的视频。图5U0生成的视频结果。模型能够根据初始帧和语言指令预测出物理合理的未来帧序列例如抓取杯子、处理可变形物体纸张等。这一能力将基础世界模型转化为一个可扩展的具身数据引擎。生成的场景可以直接展开为时间上连贯的操作视频为下游策略学习提供丰富的合成轨迹。在权威的World Arena基准测试中U0在超过100个提交模型中排名第一综合EWMScore得分最高尤其在指令跟随、交互质量和运动平滑度等方面表现突出。4. 高效的推理加速为了提升实用效率团队为U0引入了FlashAR扩展并与vLLM推理系统集成。其核心思想是在保持对参考图像等多源条件建模能力不变的同时对最终的目标图像区域进行并行的自回归生成。在1024×1024分辨率的单张图像生成上相比标准自回归解码加速路径实现了最高82.9倍的延迟降低同时几乎保持了生成质量。图6U0 FlashAR扩展用于X2I生成。目标图像词元按对角线步骤分组所有输入条件保留在前缀中目标图像使用步骤因果注意力掩码生成。实验结果全面提升机器人能力零-shot数据增强提升策略鲁棒性研究团队利用U0的结构化文生图能力对四个真实世界任务包装盒、折叠毛巾、包装手机、包装耳机的演示轨迹进行数据增强。对于每条轨迹他们使用视觉语言模型生成背景、工作空间、光照等维度的上千种多样化描述然后随机组合并输入U0进行生成。图7使用U0的具身迁移能力对多视角操作轨迹进行zero-shot增强。左图为原始关键帧右图为迁移后的关键帧视觉覆盖范围得到极大扩展。将这些增强数据与原始数据混合用于训练下游机器人策略π₀.₅模型。在真实机器人实验中在干扰组使用未见过的工作台布和光照条件测试下使用U0增强数据训练的策略其任务完成进度显著高于仅使用原始数据训练的策略。具体来说在具有挑战性的真实世界操作任务上策略的分布外成功率从36.9%提升至63.2%。这证明U0生成的合成数据能有效提升策略对视觉分布变化的鲁棒性。保留强大的通用生成能力一个重要的验证点是在向具身合成进行适配后U0是否遗忘了其原本强大的通用图像生成与编辑能力。通过在GenEval和ImgEdit基准上的测试结果表明U0在大多数外观导向的生成和局部编辑任务上仍保持竞争优势。性能下降主要局限于需要多重约束组合、精确空间 grounding 或符号绑定的高度复杂场景。这证实了U0在获得具身能力的同时成功避免了灾难性遗忘。总结与展望Xiaomi-Robotics-U0 展示了一条将基础世界模型的强大视觉知识迁移到具身智能的有效路径。通过统一的训练框架它不仅在多项具身生成任务上达到了领先水平还作为一个数据引擎切实提升了真实机器人策略的泛化能力。这项工作表明基础世界模型不仅可以作为具身世界模型更能成为可扩展的具身智能数据引擎。它为未来实现自主交互推演、持续生成多样化机器人经验的智能体系统迈出了切实的一步。当然U0也存在一些局限性例如具身迁移仍依赖深度估计作为中间表示可能引入伪影场景生成与视频生成是分离的长程推演可能累积误差等。未来的工作将探索直接在原始观测上进行具身多视角图像编辑、联合生成场景与后续视频以及扩展上下文长度以支持更长时间的交互生成。随着模型规模的扩大、数据质量的提升以及对物理规律建模的深化能够真正在“想象”中模拟世界、并据此规划和行动的通用机器人或许离我们不再遥远。