开源大世界，谁来打好大模型的地基？

通用年夜模子如同年夜模子财产的天基，而天基的深度战强度将决议年夜厦的下度。

文｜周享玥

编｜赵素春

11月29日，第四届野生智能计较年夜会（AICC 2023）正在北京少安街中心商务区的一家旅店内乱召开。

本年非常热烈，包罗百度、智谱AI、百川智能、网易宓羲、吉祥汽车等正在内乱的多家年夜模子企业战科技企业会聚一堂，配合讨论AI计较手艺风背、AIGC立异功效等。国际数据公司IDC战海潮疑息借正在会上结合公布了一份《2023-2024年中国野生智能计较力开展评价陈述》。

陈述显现，67%的中国企业皆已开端探究天生式野生智能正在企业内乱的使用时机或停止相干资金投进。此中，中国企业特别承认天生式AI关于加快决议计划、进步服从、劣化用户战员工体验等维度带去的代价，并将正在将来三年连续进步投进力度，超七成企业删幅正在20%-40%之间。

跟着愈来愈多企业对天生式AI及年夜模子停止探究战投进，通用年夜模子的才能也正在不竭被夸大。一个共鸣是，通用年夜模子如同年夜模子财产的天基，天基的深度战强度将决议年夜厦的下度。

底层的年夜模子厂商们正为此做出勤奋。便正在此次集会召开前两天，海潮疑息方才公布“源2.0”根底年夜模子，并片面开源1026亿、518亿、21亿三种参数范围的模子。

据悉，那是业界尾个完整开源可商用的千亿年夜模子，也是今朝海内尺微暇最年夜的片面开源年夜模子。而上一个正在海内“最年夜参数开源年夜模子”记载中留下过名字的是阿里。彼时，阿里巴巴团体CEO吴泳铭正在2023年天下互联网年夜会上颁布发表，阿里将开源720亿参数年夜模子。

正在通往年夜模子的将来之路上，连续拓宽止业降天的同时，挨好天基，仍然是重中之重。

01

年夜模子正在路上，开展途径万马齐喑

年夜模子固然本年才实正发作，但业界关于那块女的探究，实在曾经颠末几轮考虑沉淀战总结。一名资深业内助士背数智火线形貌了年夜模子开展的几个阶段：

以2018年谷歌公布具有3亿参数的BERT预锻炼模子做为出发点，AI的年夜模子时期便已开启，包罗OpenAI、谷歌、微硬、英伟达等外洋玩家，海潮疑息、百度、阿里、腾讯等海内巨子，皆纷繁重兵投进，停止相干探究。

开初几年，各人的核心是拼参数，“每家皆是奔着凶僧斯来的，您做千亿，它便做万亿”。特别是2020年5月OpenAI公布具有1750亿参数的GPT-3，初次将年夜模子参数范围提拔到千亿级后，各类千亿、万亿年夜模子屡见不鲜，看得人头昏眼花。对中宣扬心径上，各家的提法也很同一，皆正在夸大本人的“最年夜”。

那时期，更年夜参数目所带去的智能出现战泛化才能，让很多人感应欣喜，但同时，也表露出一些成绩，好比当年夜模子要实正降到智算中间做工程化时，常常会碰到算力支持上的宏大磨练。再减上一般的手艺贸易化途径，各人遍及开端走进第两阶段：探究正在甚么样的场景里来使用。

“有的里背常识范畴来做妙技模子，有的里背止业间接来做止业的场景模子。”年夜模子走背止业、走背范畴使用的途径是甚么，各人皆正在考虑。

好比百度，正在2022年5月一口吻公布了十款年夜模子，此中既包罗取财产场景相分离的止业年夜模子，也包罗做了常识加强的使命年夜模子。

海潮疑息也正在2022年年中，推出了基于“源1.0”根底年夜模子的4个妙技年夜模子——对话模子“源晓问”、问问模子“源晓搜”、翻译模子“源晓译”，和古文模子“源晓文”。

但那些探究战测验考试皆借只能算是“小挨小闹”的中心态产物，还没有能正在中界惹起颤动，有人士厥后深思，过早天停止范畴模子战场景模子的使用，实践是捐躯了部门泛化才能的。曲到ChatGPT的横空出生避世，那场年夜模子高潮才实正被引爆。业界的各类思潮开端疾速活泼起去。

IDC的陈述显现，今朝，67%的中国企业皆已开端探究天生式AI正在企业内乱的使用时机或停止相干资金投进。详细到使用场景上，常识办理、对话式使用、贩卖战营销、代码天生等是环球企业使用天生式野生智能的次要场景。

已往几个月里，一些年夜模子的先止前锋用户们，也已基于本身理论构成了各自独占的道路战标的目的，年夜模子仍是一个新颖事物，各人的概念各没有不异。

很多企业经由过程对止业年夜模子的微调，正在某些场景下测验考试降天年夜模子。不外，也有一些企业没有认偕行业年夜模子。

航旅范畴里，中国航疑一名工程师报告数智火线，他们期望基于根底年夜模子去做平易近航智能效劳仄台，而没有是颠末剪裁了常识里的止业年夜模子。那背后的考虑是，通用年夜模子的才能会跟着参数扩展而晋级，但止业模子是基于某个版本的通用模子，投喂响应的专业数据锻炼而成。凡是，根底年夜模子会做参数晋级，而止业模子很易同步，那倒霉于模子的智能程度。

有企业则正在不竭深思，止业降天取根底模子机能提拔怎样齐头并进的成绩。一家年夜模子财产链企业报告数智火线，年夜模子正在止业内乱的降天速率，实践落伍于他们年头预期，此中很年夜一部门缘故原由，是由于海内的根底年夜模子借不敷成生，机能仍有待提拔。

11月初，GPT-4 Turbo的炸街式公布，愈加深了业界对年夜模子根底才能提拔的火急性。“如今最恐怖的工作是，OpenAI正在开辟者年夜会上展示出去的才能，又把我们跟GPT-4之间的差异推年夜了。”海潮疑息初级副总裁刘军暗示，怎样连续不竭天来减少这类差异，以至再今后完成逾越，是今朝海内年夜模子止业面对的中心成绩。

刘军以为，AI财产必然会快速增加，但只要当财产充足强大时，每一个到场者从中切到的蛋糕才会越年夜。因而，海内年夜模子从业者起首要做的，是让蛋糕做年夜。而那此中的一年夜中心，便是让根底年夜模子的才能提拔上来。那便比如人材的教诲历程，尽年夜大都状况下，起首有了较强的根本才能战本质，才气正在差别专业、止业里干得更好。不然，客户体验很好，用没有起去，也便易以动弹贸易形式。那也是海潮疑息挑选片面开源“源2.0”根底年夜模子的缘故原由之一。

02

根底年夜模子正百花齐放

海潮疑息野生智能硬件研收总监吴年光光阴报告数智火线，客岁11月ChatGPT公布后，其展示出的齐新的才能固然对业界震动很年夜，但办法上有迹可循。“经由过程源1.0+强化进修，我们很快遇上，也做出了相似ChatGPT如许一套体系，正在内乱部连续迭代战改良。”

“GPT-4公布后，我们从头审阅了本来的计划，不断正在考虑一个成绩，它到底经由过程甚么样的手艺完成了十分强的根底模子才能。”而那些考虑皆降正在了11月27日海潮疑息最新公布的源2.0上。

“源2.0”不只正在数理逻辑、代码天生、常识问问、中英文翻译、了解战天生等圆里有明显的才能提拔，借针对止业正在算法、数据、算力圆里的遍及痛面，提出了三项立异。

算法圆里，源2.0提出并接纳了一种新型的留意力算法构造：部分留意力过滤加强机造（LFA：Localized Filtering-based Attention）。

有别于传统 Transformer“捕获齐局疑息战少依靠疑息才能”，LFA 具有“捕获部分疑息战短依靠疑息才能”，使得模子更粗准天把握高低文之间的强语义联系关系，进修到人类言语范式素质。

好比，“我念吃中国菜”如许一句话输进到模子中时，起首会停止分词——我/念/吃/中国/菜/，而传统Attention对那6个token将划一看待。但正在天然言语中，“中国”战“菜”实践是有着更强的干系战部分依靠性的，LFA恰是经由过程先进修相邻词之间的联系关系性，再计较齐局联系关系性的办法，教到天然言语的这类部分战齐局的言语特性，进而提拔模子粗度。

“我们对年夜模子构造的有用性停止了溶解尝试，比拟传统留意力构造，LFA模子粗度进步了3.53%。”吴年光光阴暗示。正在终极的模子锻炼上，最年夜参数只要1026亿的源2.0，正在LFA算法的减持下，也能比用2457亿参数的源1.0，锻炼一样巨细Token数的Train Loss低落28%。而锻炼的丧失直线越小，意味着年夜模子关于锻炼散的特性进修得越好。

数据是另外一个被重面提拔的圆里。刘军报告数智火线，本来各人集约式运营的特性比力较着，"仿佛给它充足的数据，只需用算力不断来训它，最初就可以炼出金子去。”但炼金术实在也是需求有下品格的金矿才气练出杂度更下的金子。

厥后，各人皆正视起了数据的洗濯事情，但念要得到下量量的数据散其实不简单。好比源1.0，利用的数据尽年夜部门皆去自于互联网，海潮疑息为此接纳了许多手腕提杂，才正在800多TB数据中洗濯出了一个5TB的下量量数据散。

特别是下量量数教、代码等数据的得到上，易度借要更年夜。吴年光光阴流露，为了获得中文数教数据，他们洗濯了从2018年至古约12PB的互联网数据，但仅获得到约10GB的数教数据，且量量阐发后仍然不敷下，投进宏大，支益较小。

因而，此次推出的源2.0，正在锻炼数据滥觞、数据加强战分解办法圆里皆停止了立异。一圆里，经由过程引进大批中英文册本、百科、论文等下量量中英文材料，低落了互联网语料内乱容占比；另外一圆里，用年夜型言语模子做为锻炼数据天生器，正在每一个种别上提拔数据量量，获得了一批下量量的数教取代码预锻炼数据。

而正在算力圆里，源2.0接纳非平均流火并止的办法，综开使用流火线并止+劣化器参数并止+数据并止的战略，让模子正在流火并止各阶段的隐存占用量散布更平衡，制止呈现隐存瓶颈招致的锻炼服从低落的成绩，以此低落了年夜模子对节面内乱芯片间通讯带宽的需供，让其正在硬件差别较年夜的锻炼情况中也能完成下机能锻炼。

“相称于给您一条下速公路时，能跑到每千米200千米的时速，但给您一条康庄大道，也能跑起去，并把终极的成果跑到。”刘军注释道。

海潮疑息正在算法、数据、算力上的立异，间接鞭策了源2.0正在代码、数教、究竟问问圆里的才能提拔。据引见，后绝的源2.5、源3.0等，仍然借将从算法、数据几个角度动手。

实践是，不单单是海潮疑息，其他一些底层年夜模子厂商们，也皆正在连续迭代战晋级本人的根底年夜模子才能。

10月，百度公布文心年夜模子4.0，颁布发表完成了根底模子的片面晋级。然后没有暂，阿里流露，行将开源 720 亿参数年夜模子。

那正在很多业内助士看去，是一种好的开展趋向。究竟结果，财产要安康开展，不克不及只要一家公司具有抢先的才能，而是需求全部财产能百花齐放。

“关于用户来讲，是否是最初便酿成只要一家赢呢？实在没有是如许的，我们以为，将来的天生式AI，会是一个多元化的死态，每一个模子能够皆有它最善于的才能，那末各人减起去便是一个十分棒的才能汇合。”刘军报告数智火线，未来止业用户终极来布置的时分，能够会有差别的模子正在前面正在做支持，而那些皆是根底年夜模子的力气。

03

从硬件到更年夜市场

跟着年夜模子正在各止各业的连续浸透战深化，企业对年夜模子厂商提出的需供，曾经不单单范围于年夜模子自己的才能，也正在疾速扩大到模子锻炼经历、优良数据散，和怎样处理算力服从、存储、收集等各个方面的成绩。

“我们的算法工程师战施行工程师比我们的效劳器借抢脚，他们出好来跟各家的交换，皆排得十分谦。”一名海潮疑息的人士报告数智火线。做为海内最年夜的AI效劳器供给商，同时也是海内最早停止根底年夜模子建立的厂商之一，海潮疑息正在本年年夜模子的风潮起去后，接到了大批客户闭于模子预锻炼、数据处置、架构调劣等圆里的需供。

好比海潮疑息从866TB海量数据中洗濯出了5TB的下量量中文同享数据散。刘军流露，据没有完整统计，今朝海内年夜模子中，已有超越50家利用了海潮疑息的开源数据散。别的，海潮疑息正在模子快速支敛、服从进步上的经历战办法，也遭到普遍存眷。

模子锻炼服从的提拔则是更年夜的一个话题，间接干系到宏大的本钱成绩。特别是正在GPU欠缺的年夜布景下，怎样将有用天将算力用好，是每家企业皆要面对的应战。

正在本年8月那场散结了20多位海内年夜模子“顶流”创业者的西溪论讲闭门会上，李开复便曾暗示，很快各人便会发明，做过年夜模子 Infra （硬件底层）的人比做年夜模子的人借要贵、更密缺，而会做 Scaling Law（扩大定律，模子才能跟着锻炼计较量增长而提拔）的人比会做年夜模子 Infra 的人更密缺。

客户越发庞大的需供，正正在促使大批的年夜模子厂商，特别是气力薄弱的年夜厂们，开端不竭正在脚色战营业上加快改变战拓展。野生智能财产链上，各类跨界行动也愈收频仍，业界有着“硬件企业背下，硬件企业背上”的征象。

能够看到，此前，百度、腾讯、阿里等多家年夜模子厂商，皆背用户供给了年夜模子相干的东西链。一些年夜厂，也正在放慢切进用户更新的一些需供。好比，腾讯云里背年夜模子时期的新需供，正在本年7月公布了AI本死背量库，近来又颁布发表将背量数据库检索范围从十亿晋级至千亿级别。京东云则看到了年夜模子用户正在存储圆里碰到的新应战，正正在减年夜相干的营业投进。

海潮疑息对本人的脚色定位也正在发作改动。刘军坦行，“我们愈来愈没有以为本人是个硬件厂商，怎样把硬件那个买卖转化成更年夜的消费力，我们必需来了解客户的使用需乞降痛面，那也请求海潮疑息不单单是硬件，正在体系、硬件、算法上，也皆要十分强的团队战才能。”

刘军暗示，海潮疑息今朝正在年夜模子上的中心思绪是，要阐扬本身的劣势战对财产的了解，成立一个壮大的根底年夜模子，然后经由过程开源的方法，将做使用、做止业、做专业、做妙技的事情，交给死态同伴、止业客户战开辟者来完成，配合鞭策年夜模子的立异、利用战降天，而没有是战年夜模子企业、硬件厂商来合作。

为此，8月24日，海潮疑息正式公布了年夜模子智算硬件栈OGAI (Open GenAI Infra) “元脑死智”。那是一套基于海潮疑息过往积聚的年夜模子的工程经历、效劳客户的经历等，挨制的里背天生式AI开辟取使用场景的齐栈硬件，触及从散群体系情况布置到算力调理保证再到年夜模子开辟办理。

OGAI一共分为五层，各层对应差别的使用场景，每层间是解耦的，用户需求哪些东西，就能够挪用哪些。此中，从 L0 到 L2次要针对的是年夜模子根底算力情况的服从提拔。L3战L4则别离为年夜模子锻炼层战多模子纳管层，供给的功用相似互联网企业的东西链，差别的是，OGAI能够为企业供给当地化战公有化布置。

数智火线得悉，今朝，海潮疑息正在协助协作同伴战客户更好天停止年夜模子的锻炼战使用上，曾经有了很多理论。

好比，某互联网企业正在利用AI散群，劈面背保举场景的年夜模子停止锻炼时，碰到了模子数据不克不及实时从存储读与，招致GPU闲暇战锻炼机能低下的成绩，企业内乱的算法团队用了几个月也出能霸占。

海潮疑息的AI团队参与后，发明正在其场景中，年夜模子对数据读与IO的需供近超普通的AI模子锻炼状况，从而招致针对一般模子锻炼的效劳器设置正在保举场景中呈现了没有适配的状况。针对那一特别需供，海潮疑息团队终极基于本身经历，经由过程对CPU BIOS中的mps等多个选项设置停止对性的的修正劣化，处理了那一成绩。

网易宓羲则正在海潮疑息供给的AI算力效劳、下量量同享数据散等助力下，锻炼出了110亿参数的中文预锻炼年夜模子“玉行”，并登顶中文言语了解威望测评基准CLUE分类使命榜单。

“将来，我们将重面环绕开源社区去做建立，经由过程连续开源根底年夜模子的情势，尽量普遍天赋能更多的用户场景，扩大根底模子的才能鸿沟。”吴年光光阴道。海潮疑息也将经由过程元脑死态，结合海内浩瀚做年夜模子的左脚同伴，战里背止业的左脚同伴，一同促进年夜模子降天止业。