全面超越Llama3！开源影响力最大的中文大模型是如何炼成的

歸藏2024年05月13日约 4 分钟

上周阿里云发布了通义千问 2.5，模型的理解能力、逻辑推理、指令遵循、代码能力分别提升9%、16%、19%、10%。在权威基准OpenCompass上，通义千问2.5得分追平GPT-4 Turbo，是该基准首次录得国产大模型取得如此出色的成绩。

同时还开源了Qwen1.5-110B，在最近的 HuggingFace 开源大模型排行榜 Open LLM Leaderboard 上，Qwen1.5-110B 已经登上了榜首，性能比 Llama-3-70B 还强。

Qwen1.5-110B与其他Qwen1.5模型相似，采用了相同的Transformer解码器架构。

它包含了分组查询注意力（GQA），在模型推理时更加高效。

该模型支持32K tokens的上下文长度，同时它仍然是多语言的，支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。

新的110B模型在多个基准测评收获最佳成绩，超越Meta的Llama-3-70B，成为开源领域最强大模型。与72B相比的性能提升主要来自于增加模型规模。

在海外开源社区 Qwen 模型毫无疑问是最受欢迎热度最高的中国开源 LLM，这与阿里在开源社区持续不断的耕耘和建设有直接关系。

我们先来回顾一下通义的开源时间线：

2023年8月3日：阿里云开源通义千问70亿参数模型，包括通用模型Qwen-7B和对话模型Qwen-7B-Chat，两款模型均开源、免费、可商用。

2023年8月25日：阿里云推出大规模视觉语言模型Qwen-VL，一步到位、直接开源。Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发，支持图文输入，具备多模态信息理解能力。

2023年9月25日：阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。

2023年12月1日：阿里云开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩，成为业界最强开源大模型，性能超越开源标杆Llama 2-70B和大部分商用闭源模型。

2024年2月：通义千问推出开源模型1.5版本Qwen1.5，开源了0.5B、1.8B、4B、7B、14B和72B共计6个不同规模的Base和Chat模型，并同步放出了各尺寸模型对应的量化模型。

2024年3月：阿里云通义千问开源320亿参数模型Qwen1.5-32B，32B模型可在性能、效率和内存占用之间实现更理想的平衡。

2024 年4月17日：阿里云通义千问开源Qwen1.5的代码模型CodeQwen1.5，CodeQwen1.5 基于 Qwen 语言模型、7B 参数、GQA 架构、支持 92 种编程语言

到2024年4月，通义千问开源模型的下载量已经突破700万，开源社区出现了数百个基于Qwen系列模型开发的新模型。

截止目前 Qwen 开源系列模型已经覆盖了从 0.5B 到110B 8 个不同规模，同时还有MOE 、 Code 、多模态等新架构的实验模型。

同时开源社区的开发者也积极的将 Qwen 系列模型适配到了各种开发平台上，比如本地模型平台 Ollama 以及 LM Studio 上就有多款 Qwen系列的模型得到了支持。

同时阿里云 CTO 周靖人还透露，未来通义大模型还会持续开源，感觉更强大的通义大模型已经在路上了。

大规模预训练模型参数量大、训练成本高，开源可以帮用户简化模型训练和部署的过程，使得用户不必从头训练模型，只需下载预训练好的模型并进行微调，就可快速构建高质量的模型或进行相应的应用开发。

同时开源之后的模型可以更好的利用开源社区的力量对开源的模型进行优化和探索，同时可以推广自己的相关产品和标准帮助阿里在 AI 领域获得独特的优势。

从通义这一段时间的发展和达到的成果来看，我们也可以分析一下在 LLM 领域如何做好开源生态。

要舍得投入，LLM 的预训练是非常吃算力的，阿里不断的训练新的模型需要相当大的成本。
积极与开源社区沟通，通义团队在推特、 huggingface、 github 等平台一直都在积极同社区沟通并且帮忙解决问题，推进模型普及。
快速实践和探索新技术，从 Qwen 系列模型的发展来看，通义团队一直紧盯着 LLM 生态的新技术和新发展，不断在模型上实践对应的技术，总是第一批落地，社区对新技术有相当强的兴趣。
不断同开源软件和产品合作，推进模型的普及，通义团队一直在不断跟开源生态的优秀软件和团队合作，也帮助了模型的普及，后期新的开源软件就会主动支持 Qwen 的新模型。

最重要的还是模型本身的质量，从Qwen-7B到现在的Qwen1.5-110B 通义千问的模型质量在不断的提高和追赶最先进的模型。这个就是阿里研究实力的体现了。