最适合机器人的视频基座模型，被中国团队开源了

如果你经常刷 AI 生成的视频大概率会遇到很多不符合物理规律的画面。比如水从杯口倒出来却像透明果冻一样悬在半空手还没有真正碰到抽屉抽屉已经自己滑开…… 对普通观众来说这些问题最多算是穿帮。但对机器人来说事情就没这么简单了。假如我们把「隔空打开抽屉」的视频喂给一个正在学习动作的大模型性质就完全变了。它会把一次生成失误误读成动作和结果之间的规律没有接触抽屉也能自己滑开。这就是视频生成行业现在有点尴尬的地方。过去两年从 Sora 到 Veo几乎所有头部玩家争的都是同一件事画质更清晰、时长更长、镜头更有美感、prompt 跟得更准。但用这些模型作为机器人大脑时缺点就会暴露一段 4K 高清、光影考究的视频可能连东西不会凭空消失这种最基本的常识都守不住。因而视频生成的下一阶段可能不再只有一条主线一边继续服务内容创作追求更强的视觉表达另一边开始进入机器人训练变成理解和预测物理世界的工具。蚂蚁灵波选择了后一条路开源 LingBot-Video。这是一个面向具身智能的视频生成基座模型也是一套专为机器人场景设计的 DiT 视频预训练范式。通用视频模型更多学习画面变化、镜头运动和视觉风格LingBot-Video 则把重点放在动作、任务、交互和物理环境变化上面向世界预测、动作理解和机器人训练构建视频生成基座。围绕这一目标蚂蚁灵波在架构、数据和训练三个层面做了系统性设计。首先引入 MoE 视频框架支持动态稀疏激活计算在扩展模型容量、建模复杂时空动态的同时提升推理效率。其次构建了一个机器人增强的预训练语料库将互联网规模的视频与机器人操作、导航和第一人称视角数据集整合在一起从而向模型注入明确的具身先验和交互先验。第三开发出一套多维度奖励系统在审美目标之外进一步纳入物理合理性和面向任务的成功信号鼓励模型学习与具身环境一致的动态过程和交互规律。这三个部分共同作用使得模型在物理层面更扎实同时在计算上也更高效从而形成一个更适合具身智能的视频基础模型。项目链接technology.robbyant.com/lingbot-videoGitHubgithub.com/robbyant/lingbot-videoHugging Facehuggingface.co/robbyant/lingbot-videoModelScopehttps://www.modelscope.cn/collections/Robbyant/LingBot-Video我们先看几个 demo如下是一段典型的第一人称高动态视频从场景交互的角度看包含了动作、空间、物理和因果关系比如桨的动作会影响皮划艇方向水流会推动艇身变化岩石和河道会限制运动路线。接下来这个示例更接近真实的具身交互场景。手指掰开曲奇这个过程同时包含接触、受力、断裂、重力和遮挡关系。对机器人来说这类数据正是理解真实物理交互的重要基础。这项研究在 Reddit 上引发了很高讨论度。相比电影感画质社区更关注的是另一个问题LingBot-Video 生成的视频物理规律到底站不站得住。有网友直言在画面美感上它距离闭源模型仍有差距但这并不是最值得关注的地方。真正关键的是模型能否处理更难的物理现象比如流体运动、颗粒状沙子的变化以及反射关系是否稳定。来源https://www.reddit.com/r/StableDiffusion/s/6gIxTHB0Mq对于面向具身智能的视频模型来说这个评价标准显然更接近它真正要解决的问题。为什么机器人需要面向具身智能的视频基模机器人训练长期面临一个现实难题数据不够。大模型能一路做大一个重要前提是互联网上已经积累了足够多文本。机器人没有这样的先天条件。真实动作数据必须在物理环境里一点点采机械臂要伸出去物体要真的被抓起场景也要发生变化。即便是行业里规模最大的开源数据集之一 Open X-Embodiment联合了几十家机构的力量体量距离互联网文本或视频语料的零头都还有很大差距。仿真环境理论上可以无限生成数据但它始终绕不开 sim-to-real gap机器人在虚拟世界里练出的技能搬到真实世界里经常会失灵因为仿真器再精细也很难穷尽真实物理世界的所有细节和意外。具身智能真正缺的是介于真实采集和仿真之间的一层能力它要有视频模型的生成规模又不能完全脱离真实物理世界的约束。它生成的内容不能只是像视频还要尽可能像一次真实动作之后的结果。这就是面向具身智能的视频基模的价值。它不像传统仿真器那样先写好一套碰撞、摩擦、约束规则再让物体在规则里运动。LingBot-Video 是在大量视频和具身数据中学习「动作之后会发生什么」门被推开后空间如何变化物体被抓起后状态如何变化机器人移动后第一视角如何变化。一旦这种能力足够可靠它就可以进入机器人训练流程承担数据生成、策略评估和动作规划等角色。机器人在真实行动之前可以先通过视频模型推演可能发生的世界变化。也就是说视频模型开始从内容生成工具进入机器人大脑的基础能力层。LingBot-Video 的意义正在于把这种能力系统化地做出来。从「生成好看」到「生成有用」LingBot-Video 的三重设计在架构层面LingBot-Video 的核心思路是用一套统一、高效、可扩展的视频预训练框架承接不同类型的生成任务。它采用级联式设计整体由基础生成器和精修器refiner两部分组成。基础生成器负责在较低分辨率下建模视频的整体运动、空间布局和场景动态精修器则在第二阶段提升分辨率把视频从 480p 进一步上采样到 1080p。基础生成器采用 Single-Stream Diffusion Transformer。与将不同模态分开处理的 dual-stream 架构相比single-stream 会把视觉 token 和条件 token 放进同一个序列中由同一组 Transformer blocks 统一处理。这样做的好处是参数复用更充分跨模态交互也更直接。在这一基础上LingBot-Video 的关键设计是将稀疏 MoE 引入视频扩散模型。LingBot-Video 用 MoE 重做视频生成架构视频生成要模拟连续变化的物理世界里面有空间纹理、时间运动、流体变化、三维一致性、材质细节等复杂因素。如果用传统 dense 模型所有 token 都走同一套 FFN 参数路径容易出现不同任务之间互相干扰比如图像细节重建、视频运动建模、T2I/T2V/TI2V 多任务条件都会挤在同一组参数里学习。LingBot-Video 的做法是引入稀疏 MoE。它不是让每个 token 都激活全部参数而是通过路由机制让 token 选择部分专家参与计算。这样可以做到两件事一方面扩大模型总参数容量让模型能容纳更多物理世界先验另一方面控制每个 token 实际激活的计算量避免推理成本随参数规模线性暴涨。这对长视频和高分辨率视频尤其重要因为视频很容易变成百万级 token 的时空序列。如果继续用 dense 扩展计算成本会非常高而稀疏 MoE 可以在保留大容量的同时把每一步去噪中的实际前馈计算控制下来。具体架构上LingBot-Video 没有推翻原来的 single-stream DiT而是在每个 Transformer block 里保留 FFN 残差分支只把 dense FFN 换成 token-choice sparse MoE 层。同时它借鉴了 DeepSeekMoE 的思路引入细粒度专家划分和共享专家隔离共享专家负责通用先验路由专家负责更专门化的模式从而减少任务干扰让专家更容易形成分工。稀疏 MoE 架构LingBot-Video 的 MoE 架构不是只把参数做大而是真的能在模型容量和推理效率之间取得更好的平衡。实验结果也验证了这一点。团队先比较了 MoE 13B-A1.4B 和 Dense 1.3B。前者总参数是 13B但每个 token 实际激活约 1.4B 参数后者是标准 1.3B dense 模型。在整个训练过程中稀疏模型在训练损失和验证损失上都表现出显著优势。这一点在视频预训练中非常关键因为建模复杂的时空特征和连续物理交互需要较高的表征容量。在等价计算约束下稀疏 MoE 模型的总参数容量提升了 10 倍为物理世界先验提供了明显更大的模型容量。这与稀疏专家路由实现的容量 - 计算解耦是一致的。它有效缓解了 dense 基线的特征容量瓶颈使稀疏模型能够在不增加计算预算的情况下取得更好表现。此外稀疏架构相较 dense 基线展现出显著的跨计算规模优势。如图 5a 所示MoE 13B-A1.4B 和 MoE 30B-A3B 都能持续优于激活参数规模约为其两倍的 dense 模型。具体来看MoE 30B-A3B 的表现已经接近 Dense 14B。这证明容量 - 计算解耦从根本上提升了视频扩散模型的 scaling 效率释放出更强的表征能力。团队继续将 MoE 架构扩大发现模型能力还能稳定提升。他们把模型总参数从 13B 一路扩到 120B对应几种规模MoE 13B-A1.4B、MoE 30B-A3B、MoE 60B-A6B、MoE 120B-A11B。模型总容量越来越大每个 token 实际激活的参数量也按比例增加。实验结果图 5b显示在训练步数相同的情况下模型越大训练 loss 越低。也就是说LingBot-Video 的稀疏 MoE 架构具备比较稳定的 scaling 趋势继续扩大模型规模性能仍然有提升空间。最后团队还验证了另一个关键问题LingBot-Video 虽然用 MoE 把总参数容量做大了但因为每个 token 只激活一部分专家推理成本是否仍然可控。团队做法是把 dense DiT 和 MoE DiT 放在不同序列长度下测试从 16K token 一直到 1M token。结果显示MoE 30B-A3B 先和激活参数量相近的 Dense 3B 对比。在 1M token 长序列下MoE 延迟几乎和 Dense 3B 持平。这说明 MoE 路由本身没有带来很重的额外开销。接着团队把 MoE 30B-A3B 和更大的 dense 模型比较优势就明显出来了。在 1M token 下相比 Dense 6B速度比达到 1.50×相比 Dense 14B速度比达到 2.59×相比 Dense 30B速度比达到 3.18×。最后针对高分辨率视频生成的计算压力LingBot-Video 采用了级联式精修设计。直接生成 1080p 视频会带来巨量时空 token计算成本很高。因此模型先由基础生成器在 480p 下生成整体运动和场景布局再由第二阶段 refiner 提升到 1080p。对于长视频和高分辨率视频生成来说这种先在低分辨率建模整体动态、再在高分辨率补足视觉细节的级联架构进一步降低了计算压力也让生成质量更加稳定。从互联网视频到具身数据LingBot-Video 的数据工程在数据层面LingBot-Video 的思路并非单纯继续扩大视频语料规模。视频生成模型的能力与训练数据的规模、质量和多样性高度相关但如果只是粗放式收集更多数据很容易遇到边际收益递减同时受到采集成本和计算开销的限制。为了解决这个问题蚂蚁灵波构建了一套集成化、可扩展的数据基础设施由多个相互协同的模块构成。首先是 Data Profiling Engine它把原始图像、视频、多模态样本转成统一的结构化记录。这一步的意义是数据不再是一堆不可控的视频文件而是变成了可以检索、筛选、重采样的结构化资产。Data Profiling Engine 概览在此基础上World-Knowledge Topological Graph 会将视觉概念和动作概念组织成层级化语义结构从而支持分布感知采样并提升长尾内容覆盖能力。简单说它会把样本按出现了什么和发生了什么组织起来图像和视频共享语义树视频额外接入动作树。语义树覆盖物体、场景、风格、世界知识实体等动作树覆盖操作、人类动作、运动、日常活动等。World knowledge graphDense Structured Captioning 模块会生成层级化文本描述为模型提供细粒度语义监督它会描述画面整体内容、镜头属性、主体元素、相对位置、动作时间戳等。对于 VLA 机器人视频还会把机械臂、夹爪、物体和动作阶段明确写出来对于第一人称视频则会标注头部 / 身体运动、手部与物体的交互过程。与之配套的 Caption Rewriter 则会在推理阶段将用户输入的简短 prompt 映射到同样的结构化格式中从而弥合训练与部署之间的 prompt 分布差异。最后所有筛选后的数据会被组织成五阶段 Data Curriculum。第一阶段只用 192p 图像先学习基础视觉先验。第二阶段在 192p 下引入视频同时加入超过 7 万小时具身导向视频包括机器人操作、导航、第一人称视角等。其中机器人操作数据覆盖真实机器人、仿真、开源数据、第三人称视角并涉及人形和四足平台。第三阶段把图像和视频提升到 480p并重新筛选保留更多高运动量视频增强动态内容覆盖。第四阶段继续在 480p 下做 source-aware rebalancing。普通视频严格过滤具身数据因为稀缺且价值高只做较小程度过滤以最大化覆盖操作、导航、第一视角和 benchmark 数据。第五阶段使用一个很小但质量很高的 1080p 精修子集用于训练 refiner提升高分辨率细节。这套数据策略的核心价值在于团队有意识地把机器人操作、物理交互、第一视角和长尾动作注入训练过程让视频模型从一开始就获得更强的具身先验和世界动态理解能力。奖励机制把模型拉回物理世界模型预训练之后团队并没有只用常规的人类偏好分数去做对齐而是设计了一套更适合视频和具身场景的多维奖励 GRPO 强化学习方案。传统视觉生成模型做 RL 后训练时常常用一个整体奖励模型给视频打一个总分比如好不好看、是否符合 prompt。但这种单一分数对视频生成不够用。因此LingBot-Video 把奖励拆成了六类视觉质量、文本 - 视频对齐、动态程度、运动连贯性、人体运动一致性和物理合理性。视觉质量主要保证视频看起来清晰、自然、有较高保真度惩罚模糊、伪影和低分辨率输出同时也关注 caption 级别的对齐。文本 - 视频对齐不是简单判断视频和 prompt 是否整体相似而是把 caption 拆成结构化实体、动作和时间窗口再用时间维度 VQA 检查动作是否在正确时间发生。这样可以惩罚动作缺失和时间幻觉也能鼓励模型正确生成多阶段动作。动态程度用来避免模型生成像图片一样几乎不动的视频。它会让 VLM 评估视频中的运动强度并把 1 到 5 的离散运动分数映射成奖励。运动连贯性关注运动节奏是否自然。很多文生视频模型虽然按 24 fps 播放但动作看起来像慢动作。这个奖励就是为了让生成视频在标准播放帧率下呈现更接近真实世界的运动速度。人体运动一致性专门处理人类相关视频中的常见问题比如面部畸变、手部变形、肢体数量错误、身体半透明、不可能的拓扑结构等。它不仅给分还通过结构化理由和离散分数帮助模型学习人体动作的空间正确性和时间一致性。物理合理性是最贴近具身智能的一类奖励。它会评估生成视频是否保持一个连贯的物理世界包括运动因果、物体恒常性、非穿透关系以及材料和刚体运动是否合理。例如物体不能无故出现或消失不能发生不合理重叠机器人关节和物体运动也要符合基本物理规律。有了六类奖励之后团队使用 GRPOGroup Relative Policy Optimization 来最大化这些多维奖励。因此LingBot-Video 的后训练不是简单让模型生成得更好看而是把视频质量、动作对齐、动态强度、运动节奏、人体结构和物理合理性拆成多种奖励再用 GRPO 进行强化学习对齐。它的目标是让视频模型在视觉上更稳定在动作上更完整在物理上更可信从而更适合作为具身智能的世界模型。从视频生成基座到机器人大脑能力当视频模型具备一定物理预测能力它在机器人系统中的位置也会发生变化。过去视频生成模型更多出现在内容生产链路里承担的是生成结果的角色而在机器人系统中它可以进一步前置到训练、评估和规划环节成为机器人行动前的一层世界预测工具。也就是说LingBot-Video 生成的并不只是视频片段而是机器人可以用来学习、比较和决策的未来情境。具体来看它可以承担三类角色第一种是补数据Data Engine它可以帮助机器人生成更多训练样本。真实机器人数据采集成本高、速度慢、覆盖有限而视频生成模型可以扩展任务、场景和动作组合为训练提供补充数据。第二种是做预演Policy Evaluator它可以作为真实物理环境的代理用于策略在真机部署前的可行性预演与安全评估。比如机械臂准备拉开抽屉评估器会提前模拟不同动作轨迹的运动后果。通过在视觉代理中提前识别并过滤失败策略降低真机验证的试错成本保证了所部署策略的有效性。第三种是辅助规划Action Planner它可以用于参与并生成具体的动作轨迹。面对复杂任务它不单单是预测后果而是像 “GPS 导航” 一样根据目标自动计算出机械臂应该以什么轨迹移动、分几步走、每一步的姿态如何从而直接输出一套最优的连续动作序列。这正是 LingBot-Video 对机器人控制的价值它让机器人在真实行动之前先拥有一层可生成、可评估、可迭代的世界预测能力。视频模型也由此从内容生产工具走向机器人大脑理解物理世界的基础能力。从 TI2V 到 A2VLingBot-Video 的物理世界模拟能力接受检验为了验证 LingBot-Video 作为物理世界模型的能力团队人员在内部 benchmark 上进行了全面评估评估维度分为两类一是通用质量General Quality用于衡量模型的基础生成能力二是具身领域Embodied Domain用于考察与具身 AI 和真实世界交互相关的专业、高难度场景。为了更全面地评估生成能力该内部 benchmark 覆盖了两种核心生成设置文生视频Text-to-VideoT2V和图文生视频Text-and-Image-to-VideoTI2V。实验中团队将 LingBot-Video 与五个开源模型进行了比较包括 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5 和 LTX-2.3。如图 15c 和图 15d 所示在 TI2V 任务上LingBot-Video 在所有开源竞品中取得了最先进的表现并在通用质量和具身领域得分上均排名第一。这表明 LingBot-Video 在模拟精确物理轨迹方面具备更强能力例如机械臂操作和避障等场景。在 T2V 任务上如图 15a 和图 15b 所示虽然 LingBot-Video 在通用质量上排名第二但在具身领域得分上仍然持续优于 Cosmos 等有竞争力的基线模型。即便没有初始图像作为条件输入LingBot-Video 依然展现出这一优势说明它具备稳健且内生的物理先验而这对具身 AI 应用至关重要。图 16 给出了 LingBot-Video-A2V是在 LingBot-Video 之上做 Action-to-Video 后训练得到的动作条件版本 在 EgoDex Eval 和 DreamDojo-HV Eval 上的结果用于检验经过后训练的模型是否能够泛化到训练所用 GR-1 轨迹之外。这两个评估数据集都包含 GR-1 后训练数据集中没有出现过的新物体和新动作因此适合用于测试模型的分布外动作跟随能力而不是测试它是否记住了训练中的 rollout 轨迹。结语蚂蚁灵波这次选择开源 LingBot-Video这在当前竞争激烈的视频生成赛道里并不是一个轻松的决定。开源意味着把 MoE 架构和面向具身智能的训练范式全部交给社区去检验、复现和迭代也意味着要接受更公开的审视。但从行业角度看这正是眼下最需要的东西一个可复现、能够持续演进的视频生成基座模型能够实实在在地降低具身智能视频模型的研究门槛。LingBot-Video 的 MoE 架构、具身多模态数据训练方式、多维奖励强化学习机制为行业提供了可参考的技术样本也展示了蚂蚁灵波在大规模视频生成基座模型训练上的系统能力。同时也需要坦诚承认这条路还远没有走到终点。长时序场景下的一致性维持、柔性物体和液体这类复杂物理交互的建模、视频预测能力如何真正闭环到真实机器人的控制策略上以及具身视频模型本身评测标准的建立这些问题目前都还处在演进阶段没有一个是靠一次模型发布就能彻底解决的。视频生成模型的价值正在外溢它过去主要回答内容生产问题接下来也会越来越多地进入真实世界任务预测、评估、规划乃至参与机器人的训练闭环。LingBot-Video 选择了后一条路也选择把这条路上的答案摊开来交给整个研究社区一起走。