本报讯 (记者李乔宇)11月12日,记者从摩尔线程智能科技(北京)股份有限公司(以下简称“摩尔线程”)方面获悉,近日,端侧模型头部企业面壁智能自研并开源的大模型预训练框架ForgeTrain,在摩尔线程MUSA架构上完成训练与深度调优,全程基于无锡(惠山)国产智算中心,训练效率达到国际主流训练框架Megatron-LM的1.358倍,成为国产算力赋能大模型训练的标杆案例。据了解,Megatron-LM是英伟达开源的大模型训练框架,也是目前全球大模型训练领域主流的效率基准之一。
ForgeTrain于今年5月开源,是完全由AI(人工智能)编写、零人工代码介入的生产级大模型预训练框架——每一行实现代码均由大模型Agent生成,人类工程师只负责提供目标参考实现与自动化评测支架。ForgeTrain已基于国际主流GPU(图形处理器)完成公开实测,此次则是这条“AI造框架”的流水线首次跑通国产GPU生态,并在以摩尔线程全功能GPU为算力底座的无锡(惠山)国产智算中心,实现训练效率超越国际主流训练框架的成绩。
据悉,此案例更深层的产业价值在于模型训练框架供给路线的改变:当AI能够在国产GPU上自主锻造出超越国际主流框架的训练引擎,模型公司的适配成本结构将被改写——从以人工逐算子适配为主,转向由工程师定义目标与正确性约束、Agent(智能体)开展实现搜索与迭代优化、自动化评测与工程验收共同检验结果的协同流程。这也意味着,无锡(惠山)国产智算中心正持续降低AI企业使用国产算力的门槛,将吸引更多模型训练、推理服务和开发者资源集聚。
据悉,面壁智能计划在现有基础上扩大合作规模,继续依托无锡(惠山)国产智算中心训练更大规模、更长序列的MiniCPM系列模型,并推动ForgeTrain能力向更多场景延伸,相关优化进展与最佳实践将持续在MUSA开发者社区更新。
目前,无锡(惠山)国产智算中心一期2000卡投运三个月即实现满载运行,20余家客户在平台上开展测试或正式业务,覆盖模型训练和推理等场景,训练业务占比超过62%。随着以摩尔线程全功能GPU为核心的国产算力应用链路不断打通,无锡(惠山)国产智算中心将进一步助力无锡打造“人工智能+”标杆城市,建设长三角国产算力应用高地。
(编辑 张文玲)