开源12天，包揽Hugging Face、OpenCompass等权威榜单冠军，通义千问狂甩Llama 2成新标杆

国产年夜模子出圈外洋，背GPT-4倡议打击。

做者 | 喷鼻草

编纂 | 漠影

国产年夜模子又单叒出圈了？

智工具12月12日报导，克日，阿里云通义千问720亿参数的模子Qwen-72B力压Llama 2等海内中开源年夜模子，登顶环球最年夜模子社区Hugging Face的开源年夜模子排止榜（Open LLM Leaderboard）榜尾。

▲Hugging Face开源年夜模子排止榜，数据停止12月12日

正在六个维度的测评中，通义千问获得均匀73.6分的成就。此中，正在考查数教推理才能的GSM8K战考查究竟性问问才能的TruthfulQA基准上，通义千问别离超越Llama 2分数的30.3%战34%。

而便正在明天，正在由上海AI尝试室推出的、海内威望开源年夜模子评测OpenCompass的最新中文年夜模子榜单上，通义千问72B一样拿下第一。

▲OpenCompass中文年夜模子榜单，数据停止12月12日

开源12天，通义千问72B即斩获多项威望测评榜单冠军，硬气力备受专业承认。

正在开源社区，通义千问72B激发了一波环球开辟者的狂悲，有外洋教者以为那一开源模子正在处置某些使命中的表示取GPT-4八两半斤。停止今朝，通义千问齐系列开源模子乏计下载量已打破150万，催死出150多款新模子、新使用。

去自中国的超强开源年夜模子，是怎样炼成的？智工具对话了通义尝试室的科教家，追求谜底。

01 .

环球开辟者热捧

教者称取GPT-4八两半斤

12月1日，阿里云颁布发表正式开源720亿参数的年夜言语模子——通义千问Qwen-72B。

模子一经公布，立即正在交际仄台X上惹起大批国内中开辟者存眷战转收。

数据科教家、AI研讨机构fast.ai结合开创人Jeremy Howard转收通义千问的公布帖子并称：“因为那些使人镇静的新模子的公布，上述帖子正在公布10分钟后便过期了。”正在那之前，他方才转收了一篇闭于另外一款中国开源年夜模子DeepSeek基准测试成就的推文。

通用机械人1X公司AI副总裁、谷歌前初级研讨科教家Eric Jang转收称：“巨大的事情！那篇手艺论文十分值得一读，我很快乐他们借开源了对齐的VLM。”

微硬365办理仄台创企CoreView尾席手艺民Ivan Fioravanti连用几个感慨号表达本人的冲动：“又一个新的年夜模子能够测试了！几个月后，那些模子将变得非常壮大！”

一位存眷AI的波兰教者称：“乍一看，的确使人印象深入。再认真一看，（通义千问）正在处置波兰语圆里，取GPT-4八两半斤（而Llama2正在那圆里表示蹩脚）。”

印度NLP科教家、数据科教社区Maxpool开创人Pratik Bhavsar则以为，该模子正在许多使命上曾经逾越了GPT-4，而且火烧眉毛天念用通义千问去完成贸易化使用降天。

正在海内，中小企业战创业公司也对开源的通义千问非常喜爱。具身智能机械人创企有鹿智能的开创人、CEO陈俊波曾称通义千问为“今朝最少正在中文范畴智能性表示最好的开源年夜模子之一”。

▲有鹿智能开创人、CEO陈俊波（图源：阿里云）

华东理工年夜教X-D Lab的门生开辟者颜鑫，曾经基于通义千问开源模子开辟了心思安康年夜模子MindChat（闲谈）、医疗安康年夜模子Sunsimiao（孙思邈）、教诲/测验年夜模子GradChat（锦鲤）等。通义千问72B开源后，颜鑫非常猎奇它怎样革新“我们范畴中的才能极限值”。

“我们能够基于Qwen-72B做些教术探究，包罗操纵联邦进修算法处置数据。”

▲华东理工年夜教X-D Lab的门生开辟者颜鑫（图源：阿里云）

02 .

屠榜多个开源模子威望评测

年夜幅逾越Llama 2成新标杆

通义千问Qwen-72B开源公布时，便正在10年夜威望测评集合获得了开源模子最劣成就，此中另有4个基准的成就逾越了闭源模子GPT-4。

值得一提的是，正在数教才能测评基准MATH上，Qwen-72B获得35.2分，是同范围Llama 2的远乎三倍。

▲Qwen-72B正在10年夜威望测评上的成就

正在昔日方才更新的OpenCompass开放评测系统中，Qwen-72B夺得开源基座模子（Base）第一。

▲OpenCompass年夜模子排止榜，数据停止12月12日

正在OpenCompass中文才能的测试中，通义千问72B基座年夜模子战对话年夜模子包办前两，曾经取包罗GPT-4正在内乱的支流模子推开差异。

▲OpenCompass中文年夜模子榜单，数据停止12月12日

几天前，通义千问72B登顶最威望的Hugging Face开源年夜模子排止榜。该榜单支录了环球上百个开源年夜模子，测试维度涵盖浏览了解、逻辑推理、数教计较、究竟问问等六年夜评测。

▲Qwen-72B取Llama-2-70B正在六年夜测评上的成就

此中，通义千问正在MMLU、TruthfulQA、GSM8K三个基准上的成就皆年夜幅逾越Llama 2。

对应到详细才能上，MMLU考查模子的天下常识战言语才能，是一个综开评测。TruthfulQA 考查模子的知识问问，包罗知识才能、抗幻觉才能、问问才能等。GSM8K则考查模子的数教推理战计较。

正在实践使用中，通义千问各圆里的才能表示怎样？

起首去看一讲典范数教题：0.999有限轮回战1哪一个年夜？

通义千问的解题逻辑明晰，成果准确。

正在对中文的了解上，通义千问也能精确辨认出庞大的叠词：

再去看一讲逻辑推理题：天国天堂两扇门，两个门卫，一个道实话，一个道谎话，只能对一小我私家发问一次，怎样找出天国之门？

通义千问出被易倒，精确天经由过程逻辑阐发找到了成绩的谜底。

知识圆里，通义千问也是没有正在话下，精确答复出了冰战火混淆后是纯洁物仍是混淆物。

面临“坑背”的假定性成绩，通义千问也正在勤奋测验考试给出公道的答复。

总的去看，通义千问72B机能非常抗挨，逾越Llama 2成为开源年夜模子的新标杆。

03 .

刁悍的开源年夜模子

是怎样炼成的？

那末成绩去了——Qwen-72B为何能有那么超卓的机能？

阿里巴巴通义尝试室科教家报告智工具，通义千问年夜模子的连续劣化战前进，次要依靠三年夜根底才能。

起首，锻炼更踏实，办法更先辈。

正在Qwen-72B模子的锻炼上，阿里云操纵多达43T的下量量数据停止锻炼，合开7T Tokens，数据涵盖远20种言语，笼盖金融、法令、医疗等范畴。同时，通义千问团队对数据配比战数据源停止了劣化，今朝已利用了更下量量、更具多样性的3T Tokens停止锻炼。

正在锻炼办法上，通义千问团队综开操纵了DP（数据并止）、TP（张量模子并止）、PP（流火线并止）、SP（序列并止）等办法停止年夜范围散布式并止锻炼，并引进FlashAttention-2等下效算子提拔锻炼速率。

其次，AI根底设备片面晋级 ，年夜模子锻炼又快又好。

正在本年的云栖年夜会上，阿里云CTO周靖人便曾暗示，阿里云片面晋级了AI根底设备。那年夜幅提拔了年夜模子的锻炼战推理的服从，通义千问72B开源模子的推出便是最新例子。

借助阿里云AI仄台PAI的拓扑感知调理机造，通义千问团队有用低落了年夜范围锻炼时通讯本钱，将锻炼速率进步30%。

别的正在锻炼不变性圆里，经由过程PAI仄台AiMaster办理组件监控功课的日记、报错、Metrics等疑息，团队能够辨别用户毛病战体系毛病，按照功课范例战容错场景供给办理才能战齐链路主动化运维才能，主动剔除毛病机械重启使命，使锻炼过程当中野生干涉重启频次由天天低落到每周。

据悉，中国有一半年夜模子公司皆跑正在阿里云上，百川智能、智谱AI、整一万物、昆仑万维、vivo、复旦年夜教等多量头部企业及机构均正在阿里云上锻炼年夜模子。

最初，去自使用场景战开源社区的充分反应也协助研收团队不竭迭代战劣化根底模子。

今朝，环球年夜模子范畴次要有两条手艺道路。一条是以OpenAI的GPT-4为代表的闭源道路，另外一条是以阿里云的通义千问、Meta的Llama 2等为代表的开源道路。

闭源模子的定造性没有如开源模子，没法满意现阶段模子使用市场的多样化需供。

阿里云是海内最早开源自研年夜模子的科技企业，连续开源了Qwen-7B、Qwen-14B、Qwen-72B战Qwen-1.8B四款年夜言语模子，借开源了两款多模态年夜模子——视觉了解模子Qwen-VL战音频了解年夜模子Qwen-Audio，领先完成了年夜模子“齐尺微暇、齐模态”开源。

阿里云也为开辟者供给了更便当更普惠的年夜模子效劳：开辟者可正在魔拆社区间接体验系列模子结果，也可经由过程阿里云灵积仄台挪用模子API，或基于阿里云百炼仄台定造年夜模子使用；阿里云AI仄台PAI借针对通义千问齐系列模子停止深度适配，推出沉量级微调、齐参数微调、散布式锻炼、离线推理考证、正在线效劳布置等效劳。

智工具从一些开辟者群里理解到，站正在用户的角度上看，之以是挑选国产开源模子，一是由于开源模子性价比下、定造化水平下，可以顺应现阶段千止百业对年夜模子使用的多样化探究。

两是借助开源社区的有用反应战个人聪慧，开源模子可以愈加快速天迭代劣化、强大死态，以至一些成绩皆是相似的，更简单找到现成的处理计划。

最初，海内用户需求愈加可控、更懂中文的壮大模子，通义千问72B正在中文才能上近超Llama 2，比拟外洋模子，那是中国自研年夜模子不成替换的劣势。

04 .

结语：开源死态助力年夜模子市场“飞轮效应”

正在12月1日通义千问公布会上，周靖人曾暗示，开源死态对增进中国年夜模子的手艺前进取使用降天相当主要，通义千问将连续投进开源，期望成为“AI时期最开放的年夜模子”。

正在阿里云憧憬的“年夜模子自在市场”中，通义千问只是“百模”之一。而Qwen年夜模子系列的开源开放，则是阿里云知止开一，展开年夜模子死态建立的最好理论。财产死态是修建贸易闭环战合作壁垒的枢纽，越早将年夜模子推背市场，越多吸纳用户的反应去反哺年夜模子，越能完成“模子越强、使用越多，使用越多、模子越强”的“飞轮效应”。

逾越Llama 2是国产年夜模子“百模年夜战”中的一个节面，经由过程更普遍的降天使用、更繁华的死态，进一步背最强闭源年夜模子GPT-4倡议打击，大概是AI之战中，以阿里云为代表的中国公司更有时机得胜的枢纽途径。