开启720亿参数基模研发 小鹏搭建国内汽车行业首个万卡智算集群

    本报记者 刘钊

    汽车行业开始进入全新的大模型研发浪潮。

    4月14日，广州小鹏汽车科技有限公司（以下简称“小鹏汽车”）在中国香港举办AI技术分享会，首次披露正在研发720亿参数的超大规模自动驾驶大模型，即“小鹏世界基座模型”。未来，小鹏汽车将通过云端蒸馏小模型的方式将基模部署到车端，给“AI汽车”配备全新的大脑。这款模型同时也将赋能小鹏汽车的AI机器人、飞行汽车等。

    小鹏汽车自动驾驶负责人李力耘介绍，小鹏世界基座模型是一个以大语言模型为骨干网络，使用海量优质驾驶数据训练的多模态大模型，具备视觉理解能力、链式推理能力和动作生成能力。通过强大的强化学习训练，基座模型不断自我进化，将逐步发展出媲美甚至超越人类的自动驾驶技术。

    基座模型具备长思维链推理能力

    早在2024年下半年，小鹏汽车已开始面向L4级别的自动驾驶研发全新的“AI大脑”，即小鹏世界基座模型。

    李力耘透露，为了研发基座模型，小鹏汽车早在去年就开始布局AI基础设施，现已建成国内汽车行业首个万卡智算集群，用以支持基座模型的预训练、后训练、模型蒸馏、车端模型训练等任务，小鹏汽车将这套从云到端的生产流程称之为“云端模型工厂”。

    工厂“车间”涵盖基座模型预训练和后训练（强化学习训练）、模型蒸馏、车端模型预训练到部署上车的完整生产链路。“云端模型工厂”采用强化学习、模型蒸馏的技术路线，能够高效生产“小身材、大智商”的端侧模型，甚至为不同需求的汽车定制不同的“大脑”，让“千人千面”的模型研发成为可能。

    目前，小鹏汽车“云端模型工厂”拥有10EFLOPS的算力，集群运行效率常年保持在90%以上，从云到端的全链路迭代周期可达平均5天一次。

    小鹏汽车研发团队利用优质自动驾驶训练数据，先后开发了多个尺寸的基座模型，目前已经着手推进72B超大规模参数世界基座模型的研发，参数量是主流VLA模型的35倍左右。

    据小鹏世界基座模型负责人介绍，小鹏世界基座模型的一大优势是具备链式推理能力，在充分理解现实世界的基础上，能够像人类一样进行复杂的常识推理，并将推理结果转化为行动，例如输出方向盘、刹车等控制信号，实现和物理世界的交互。未来，经由基座模型的赋能，智能驾驶系统有望从“模仿人类”进化到“超越人类”，最终能够处理全场景的自动驾驶问题，包括一些模型从来没在训练数据中遇到的问题。

    从设计之初，小鹏汽车就将基座模型定位为一个可以泛化到多种具身终端的基座模型。李力耘对《证券日报》记者表示：“小鹏世界基座模型是小鹏汽车自动驾驶真正走向L3、L4的基础，也会是未来小鹏汽车所有物理AI终端的通用模型。”后续，小鹏世界基座模型将全面赋能小鹏AI体系全图谱，应用到小鹏汽车的AI汽车、AI机器人、飞行汽车上。

    小鹏开启AI时代模型生产新范式

    小鹏汽车从2024年开始搭建AI基础设施，当前已建立起万卡规模的智能算力集群，是目前国内汽车行业最大的自动驾驶算力集群。小鹏汽车的算力储备达到10 EFLOPS，集群利用率常年高达90%以上，高峰时期的运行效率甚至达到98%。

    小鹏世界基座模型上述负责人介绍，多模态模型训练的主要瓶颈不仅是GPU，也需要解决数据访问的效率问题。小鹏汽车自主开发了底层的数据基础设施，使数据上传规模提升22倍、训练中的数据带宽提升15倍；通过联合优化GPU/CPU以及网络I/O，最终使模型训练速度提升了5倍。目前，小鹏汽车用于训练基座模型的视频数据量高达2000万clips，这一数字今年将增加到2亿clips。

    基座模型研发是小鹏汽车“AI化”转型的重要一步，不过，即便来到“大模型时代”，过去“规则时代”的领先经验仍在发挥作用。在开发强化学习的奖励模型时，研发团队基于规则经验设计了奖励函数，将规则时代的沉淀转化为了训练基座模型的生产力。

    同时，小鹏汽车已经着手开发世界模型，作为“云端模型工厂”的重要一环，支持基座模型的性能优化。据了解，小鹏的世界模型是一种实时建模和反馈系统，能够基于动作信号模拟出真实环境状态，渲染场景，并生成场景内其他智能体（也即交通参与者）的响应，从而构建一个闭环的反馈网络，帮助基座模型不断进化，逐渐突破过去“模仿学习”的天花板。

（编辑 乔川川）