腾讯混元大模型升级：新增“文生图” 代码能力大幅提升

    本报记者 袁传玺

    10月26日，腾讯宣布，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能，展示了其在图像自动生成领域的领先能力。升级后的腾讯混元中文能力整体超过GPT3.5，代码能力大幅提升20%，达到业界领先水平。

    作为实用级的通用大模型，腾讯混元大模型的应用场景丰富多样。目前，超过180个腾讯内部业务已接入腾讯混元，包括腾讯会议、腾讯文档、企业微信、腾讯广告和微信搜一搜等。最近，QQ浏览器还基于腾讯混元推出了“PDF阅读助手”，具备智能摘要、智能问答和多轮提问等功能。

    此次，腾讯自研的面向垂直领域的7B和13B模型也首次亮相，同等效果下仅需较少的tokens，训练效率更高。模型实测中英文效果整体优于国内外开源模型，能够以更高的性价比和效率支持应用落地，满足各种垂直场景和业务需求，助力腾讯全面拥抱大模型。

    腾讯混元文生图惊艳亮相

    广告场景应用效果明显

    文生图是AIGC领域的核心技术之一，也是体现通用大模型能力的试金石，对模型算法、训练平台、算力设施都有较高的要求。

    腾讯最早在广告场景进行AI自动生成图像的探索，在此过程中积累了深厚的研发能力。据介绍，相比其他大模型，腾讯混元的文生图应用，在人像真实感、场景真实感上有比较明显的优势，同时，在中国风景、动漫游戏等场景等生成上有较好的表现。

    大模型文生图的难点体现在对提示词的语义理解、生成内容的合理性以及生成图片的效果。针对这三个技术难点，腾讯进行了专项的技术研究，提出了一系列原创算法，来保证生成图片的可用性和画质。

    在语义理解方面，腾讯混元采用了中英文双语细粒度的模型。模型同时建模中英文实现双语理解，并通过优化算法提升了模型对细节的感知能力与生成效果，有效避免多文化差异下的理解错误。

    在内容合理性方面，AI生成人体结构和手部经常容易变形。混元文生图通过增强算法模型的图像二维空间位置感知能力，并将人体骨架和人手结构等先验信息引入到生成过程中，让生成的图像结构更合理，减少错误率。

    在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。

    （企业供图）

    作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作、商品合成、游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和26%，均高于同类模型。

    代码能力行业领先

    腾讯内部已经用大模型“写”代码

    过去一个月，腾讯混元大模型不仅各项能力均有升级，代码、数学能力也大幅提升。经过对32种主流语言代码文件、各类计算机书籍和博客的学习增训，腾讯混元代码处理水平提升超过20%，代码处理效果胜出ChatGPT=6.34%，在HumanEval公开测试集指标上全面超过Starcoder、Codellama等业界头部开源代码大模型。

    腾讯内部目前已经有多个开发平台接入了腾讯混元大模型，工程师们可以使用腾讯混元来进行代码生成、代码补全、代码漏洞检测和修复、表格数据处理、数据库查询等工作。

    腾讯混元大模型持续升级背后，离不开腾讯自研一站式机器学习平台Angel的支撑。自研AngelPTM训练框架可提供高效的分布式训练解决方案，具备业界领先的内存利用率和训练吞吐效率，训练速度相比业界主流框架提升1倍；自研AngelHCF训练框架，具备从蒸馏、微调、压缩到模型加速的完整能力，支持多种模型并行，保证模型的最小化部署及最大化吞吐，推理速度相比业界主流框架FasterTransformer快1.3倍。

    大模型多模态交互能力被认为是通往通用人工智能的必由之路，也是不断扩充大模型能力象限的一个重要方向。据介绍，腾讯混元大模型正在不断强化图片、视频、音频等各类模态的处理能力，相关成果也将很快面向外界推出。

（编辑 田冬）