本报讯 (记者谢岚)7月9日,上海蚂蚁灵波科技有限公司(以下简称“蚂蚁灵波”)连续开源两款面向具身智能与实时交互场景的新一代基础模型:实时交互世界模型LingBot-World 2.0和视频生成基础模型LingBot-Video。
其中,LingBot-World 2.0全面升级世界预测与交互能力,支持小时级实时生成、720p/60fps高清实时输出以及更丰富的交互动作与事件,并在业界首次将Agent机制引入世界模型,使生成世界从“可观看、可操控”进一步走向“可持续互动、可动态变化”;LingBot-Video则是全球首个基于Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型,围绕机器人和具身智能的核心需求重新设计视频预训练范式,在推理效率、物理合理性、动作理解和任务完成度等方面实现系统性提升,为视频基础模型从数字内容创作走向具身智能提供了新的开源底座。
今年1月,蚂蚁灵波开源了第一代世界模型LingBot-World,重点攻克长视频生成中常见的“长时漂移”问题。LingBot-World 1.0将连续稳定生成时长推进到近10分钟,而且支持键鼠操控与文本触发环境变化,引发业界广泛关注。在此基础上,LingBot-World 2.0进一步向“无限生成”迈进。模型采用因果预训练范式,并引入自研的MoBA机制,让模型按照真实世界交互的时间顺序学习世界如何演化。在长达一小时的不间断压力测试中,LingBot-World 2.0画面始终保持纹理清晰、场景结构连贯,无明显画质衰减。
此次开源也降低了世界模型的使用门槛。作为新一代实时交互式世界模型,LingBot-World 2.0不仅可广泛应用于游戏内容生成、影视预演、虚拟仿真、数字孪生等场景,更重要的是,作为蚂蚁灵波全栈大脑2.0的重要一环,支持机器人与具身智能训练场景。目前,用户可在Reactor平台和灵光APP在线体验,感受LingBot-World 2.0实时生成、连续交互以及Agent驱动的动态世界演化能力。
同时开源的视频基础模型LingBot-Video,在北京大学联合字节跳动发布的基准RBench上,LingBot-Video的总分是0.620,超越了Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。
过去几年,视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video正是蚂蚁灵波面向具身智能开辟视频生成新路线的重要探索。
LingBot-Video从架构、数据和训练三方面进行了系统创新,实现了性能的突破:在架构上,LingBot-Video采用DiT+MoE设计,以MoE替代传统Dense架构,在扩大模型容量的同时控制单次推理成本;在数据上,LingBot-Video构建了数据画像引擎,在海量互联网视频的基础上进一步引入VLA、VLN、Ego等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达7万小时的具身数据;在训练上,LingBot-Video引入多维强化学习奖励系统。LingBot-Video可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。
(编辑 赵思卓 张伟)