本报讯 (记者李乔宇)近期,商汤集团股份有限公司(以下简称“商汤”)正式发布并开源了与南洋理工大学S-Lab合作研发的全新多模态模型架构——NEO,为日日新SenseNova多模态模型奠定了新一代架构的基石。
作为行业首个可用的、实现深层次融合的原生多模态架构(NativeVLM),NEO从底层原理出发,打破了传统“模块化”范式的桎梏,以“专为多模态而生”的创新设计,通过核心架构层面的多模态深层融合,实现了性能、效率和通用性的整体突破,重新定义了多模态模型的效能边界,标志着人工智能多模态技术正式迈入“原生架构”的新时代。
当前,业内主流的多模态模型大多遵循“视觉编码器+投影器+语言模型”的模块化范式。这种基于大语言模型(LLM)的扩展方式,虽然实现了图像输入的兼容,但本质上仍以语言为中心,图像与语言的融合仅停留在数据层面。这种“拼凑”式的设计不仅学习效率低下,更限制了模型在复杂多模态场景下(比如涉及图像细节捕捉或复杂空间结构理解)的处理能力。
商汤NEO架构正是为了解决这一痛点而生。早在2024年下半年,商汤便在国内率先突破多模态原生融合训练技术,以单一模型在SuperCLUE语言评测和OpenCompass多模态评测中夺冠,并基于这一核心技术打造了日日新SenseNova 6.0,实现多模态推理能力领先。之后,公司在2025年7月份发布日日新SenseNova 6.5,通过实现编码器层面的早期融合,把多模态模型性价比提升3倍,并在国内率先推出商用级别的图文交错推理。商汤此次更进一步,彻底摒弃了传统的模块化结构,从底层原理出发,推出了从零设计的NEO原生架构。
目前,商汤已正式开源基于NEO架构的2B与9B两种规格模型,以推动开源社区在原生多模态架构上的创新与应用。商汤表示,致力于通过开源协作与场景落地双轮驱动,将NEO打造为可扩展、可复用的下一代AI基础设施,推动原生多模态技术从实验室走向广泛的产业化应用,加速构建下一代产业级原生多模态技术标准。
(编辑 张伟)