蚂蚁灵波连发两款开源模型,布局实时交互世界与具身智能视频生成
7 月 9 日,蚂蚁灵波科技连续开源两款面向具身智能与实时交互场景的新一代基础模型:实时交互世界模型 LingBot-World 2.0(又称 LingBot-World-Infinity)和视频生成基础模型 LingBot-Video。
其中,LingBot-World 2.0 全面升级世界预测与交互能力,支持小时级实时生成、720p/60fps 高清实时输出以及更丰富的交互动作与事件,并在业界首次将 Agent 机制引入世界模型,使生成世界从“可观看、可操控”进一步走向“可持续互动、可动态变化”;LingBot-Video 则是全球首个基于 Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型,围绕机器人和具身智能的核心需求重新设计视频预训练范式,在推理效率、物理合理性、动作理解和任务完成度等方面实现系统性提升,为视频基础模型从数字内容创作走向具身智能提供了新的开源底座。
(图说:LingBot-World 2.0 在生成时长、动态程度、实时性等方面均处于业界顶尖水平)
今年 1 月,蚂蚁灵波开源了第一代世界模型 LingBot-World,重点攻克长视频生成中常见的“长时漂移”问题,即生成时间一长,画面容易模糊、结构容易变形。LingBot-World 1.0 将连续稳定生成时长推进到近 10 分钟,而且支持键鼠操控与文本触发环境变化,引发业界广泛关注。在此基础上,LingBot-World 2.0 进一步向“无限生成”迈进。模型采用因果预训练范式,并引入自研的 MoBA 机制,让模型按照真实世界交互的时间顺序学习世界如何演化——基于已经发生的画面、动作和场景状态,持续预测接下来的变化,从而减少长时间生成中偏差不断放大的问题,避免画面越生成越模糊、结构越生成越失真。在长达一小时的不间断压力测试中,LingBot-World 2.0 画面始终保持纹理清晰、场景结构连贯,无明显画质衰减。
此次开源也进一步降低了世界模型的使用门槛。作为新一代实时交互式世界模型,LingBot-World 2.0 不仅可广泛应用于游戏内容生成、影视预演、虚拟仿真、数字孪生等场景,更重要的是,作为蚂蚁灵波全栈大脑2.0的重要一环,支持机器人与具身智能训练场景。目前,用户可在 Reactor 平台和灵光 APP 在线体验,感受 LingBot-World 2.0 实时生成、连续交互以及 Agent 驱动的动态世界演化能力。
同时开源的视频基础模型LingBot-Video,在北京大学联合字节跳动发布的基准 RBench 上,LingBot-Video 的总分是 0.620,超越了 Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench 作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。
(图说:LingBot-Video 在 RBench 上性能最优)
过去几年,视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video 正是蚂蚁灵波面向具身智能开辟视频生成新路线的重要探索。
LingBot-Video 从架构、数据和训练三方面进行了系统创新,实现了性能的突破:在架构上,LingBot-Video 采用 DiT + MoE 设计,以 MoE 替代传统 Dense 架构,在扩大模型容量的同时控制单次推理成本;在数据上,LingBot-Video 构建了数据画像引擎,在海量互联网视频的基础上进一步引入 VLA、VLN、Ego 等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达 7 万小时的具身数据;在训练上,LingBot-Video 引入多维强化学习奖励系统。
LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。