阿里云开源通义千问720亿参数模型 率先实现大模型“全尺寸、全模态”开源

    本报记者 张敏 见习记者 梁傲男

    12月1日，阿里云正式宣布，开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩，成为业界最强开源大模型。

    通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此，通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型，以及视觉理解、音频理解两款多模态大模型，实现“全尺寸、全模态”开源。

    填补中国LLM开源领域空白

    Qwen-72B基于3T tokens高质量数据训练，延续通义千问预训练模型一贯以来的强势表现，在10个权威基准测评中夺得开源模型最优成绩，在部分测评中超越闭源的GPT-3.5和GPT-4。

    英语任务上，Qwen-72B在MMLU基准测试取得开源模型最高分；中文任务上，Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基准，得分超越GPT-4；数学推理方面，Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型；代码理解方面，Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升，代码能力有了质的飞跃。

    此前，中国大模型市场还没出现足以对标Llama 2-70B的优质开源模型。Qwen-72B填补了国内空白，以高性能、高可控、高性价比的优势，提供不亚于商业闭源大模型的选择。基于Qwen-72B，大中型企业可开发商业应用，高校、科研院所可开展AI for Science等科研工作。

    多模态探索业界领先

    通义千问在多模态大模型领域的探索也领先业界一步，当天，阿里云首次开源音频理解大模型Qwen-Audio。

    Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频，要求模型给出对音频的理解，甚至基于音频进行文学创作、逻辑推理、故事续写等等。音频理解能够赋予大模型接近人类的听觉能力。

    通义大模型能“听”也能“看”。通义千问8月开源出视觉理解大模型Qwen-VL，迅速成为国际开源社区最佳实践之一。本次发布会又宣布了Qwen-VL的重大更新，大幅提升通用OCR、视觉推理、中文文本理解基础能力，还能处理各种分辨率和规格的图像，甚至能“看图做题”。不论从权威测评成绩还是真人体验的效果看，Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

    通义千问闭源模型也在持续进化，一个月前发布的通义千问2.0版闭源模型，最近已进阶至2.1版，上下文窗口长度扩展到32k，代码理解生成能力、数学推理能力、中英文百科知识、幻觉诱导抵抗能力分别提升30%、10%、近5%和14%。用户可以在通义千问APP免费体验最新版本的闭源模型。

（编辑 郭之宸）