本报讯 (记者李雯珊)10月19日,自变量科技(深圳)股份有限公司(以下简称“自变量”)发布X2Real(一套可进化的仿真评测基准),旨在评估具身模型在真实物理世界中的性能。它提出三个设计原则:可信性(Faithfulness)、有效性(Effectiveness)和客观性(Fairness),分别通过与真实硬件对齐的仿真、多维度的任务设计,以及自动化的评测与诊断流程,让仿真评测成为模型性能的可信标尺。
更重要的是,X2Real是一套能够伴随模型成长不断进化的评测体系,其评测能力不会随着模型能力提升而过时。经过测试,X2Real仿真评测与真机评测的任务成功率相关性达到0.96、进度分相关性达到0.99。它真正实现了“让模型能力可度量,让研发进步可积累”,成为具身行业的关键基础设施。
X2Real的第一个原则是可信性,即忠实反应模型在物理世界中的真实能力。这要求X2Real能够以极高的仿真度模拟机器人在现实物理世界的动作。
但仿真与现实之间存在天然差异:关节的响应快慢、画面的质感、物理的重量与摩擦力,这些细节的仿真失真都会影响模型策略的表现。因此,要让仿真评测成为可信赖的“考场”,第一步就是将虚拟机器人调试到与真实机器人表现一致。
X2Real采用与真实硬件对齐的仿真标定,去校准仿真世界里的机器人视觉、物理和控制特性。在控制参数方面,自变量团队先记录下真实机械臂的运动轨迹,再将同样的控制指令输入仿真系统,比较两者的运动轨迹,反复调整关节的响应力度,直到两者一致。经测试,X2Real能够实现毫米级的轨迹一致性。
X2Real的第二个原则是有效性,即综合全面地考察模型的能力和短板。它从任务的多样性入手,将通用操作能力分为推理与操作两个类别:推理即正确理解任务指令和视觉输入,作出正确的动作决策;操作即正确执行对应的动作,达到预期的结果。
X2Real的第三个原则是客观性:既减少模型靠“背题”获得高分的可能性,也保证各种模型在同一规则下可以比较。围绕客观性要求,X2Real做出三点设计:一是任务的多维随机化;二是严格分离训练与评测配置;三是持续生成新考题。
具身智能的持续迭代,需要一套能够与模型共同成长的评测体系。X2Real在真实反映模型能力的基础上,能够提供更加细致的诊断方案,持续参与模型的改进,让每一次评测都成为模型能力下一次增长的起点。
自变量团队相信,建立持续可信的评测反馈机制,是具身智能实现长期持续进步的前提。当模型能力能够被持续验证,失败经验就能被系统地积累,数据、算力与算法资源就能投入到更有针对性的研究方向,提升模型研发的效率。
(编辑 张伟)