价值无处不在,世界财经资讯媒体平台。
手机版
访问手机版
世界总裁网 首页 人工智能 新闻内容

“百模大战”2024走向何方?对话潞晨科技尤洋:像做PPT一样开发大模型

发布时间: 2024-1-4 20:32| 发布者: wangjing| 查看: 965| 评论: 0

摘要: 作者 |三北编辑 |漠影进入2024年,随着大模型加速产业化落地,以及MoE(混合专家模型)等大模型技术发展,Llama 2等百亿级参数的模型大有可为,有望在实战场景中以低成本赶超GPT-4等万亿级参数超大规模的模型。潞晨 ...
 

图片

做者 | 三北

编纂 | 漠影

进进2024年,跟着年夜模子加快财产化降天,和MoE(混淆专家模子)等年夜模子手艺开展,Llama 2等百亿级参数的模子年夜有可为,无望正在真疆场景中以低本钱赶超GPT-4等万亿级参数超年夜范围的模子。

潞朝科技开创人尤洋报告智工具:“我们完整能够用一台一体机完成模子的微和谐布置。”开源年夜模子让更多企业无需重新开端锻炼,能够更重视低本钱的微和谐布置,因而年夜模子开辟的历程也能够变得愈加沉量化。

潞朝科技创建于2021年7月,开创人尤洋是减州伯克利年夜教专士、新减坡国坐年夜教计较机系的校少青年传授,曾缔造了ImageNet、BERT、AlphaFold、ViT锻炼速率的天下记载,手艺至古被微硬、谷歌、英伟达等科技巨子普遍接纳。

2023年11月,潞朝科技推出了年夜模子训推一体机,单机撑持千亿参数年夜模子,可以协助企业像做PPT一样简朴快速天完成年夜模子开辟,模子锻炼/推理加快2-10倍,且服从战本钱数倍劣化。那意味着年夜模子开辟取使用的门坎被年夜年夜低落。

尤洋流露,推出仅仅一个多月以后,那款名为Colossal-AI年夜模子一体机的产物已得到了金融、医教、能源、批发等范畴的标杆客户,为公司获得数万万元营支。而减持一体机的年夜模子开辟体系Colossal-AI,今朝已得到GitHub星数超3.5万颗,细分赛讲排名天下第一。

2024年无望成为年夜模子的降天元年。止业将面对甚么样的新趋向?开源年夜模子怎样跑赢GPT-4等超年夜模子?“单机炼模”正在真战中表示怎样?经由过程对话尤洋,智工具对此停止了深化讨论。

图片

潞朝科技开创人、新减坡国坐年夜教计较机系的校少青年传授尤洋

01.

年夜模子进进降天元年

“单机炼模”成新趋向

正在2023年,年夜模子范围动辄上万亿参数,用一台效劳器来锻炼,险些是没有敢念的事。

进进2024年,状况正正在改动:

市场没有再一味天寻求模子的超年夜范围参数。「百模年夜战」的核心由2023年的年夜模子转背年夜模子财产化降天,年夜模子需求考证使用结果。正在这类布景下,一圆里,市情上的万亿级参数的通用年夜模子持续拼杀,终极能够只剩下几家;另外一圆里,百亿级参数年夜模子依托传统止业数据,分离场景,无望开辟出一片新市场。

同时,很易道Llama 2等百亿级参数范围开源模子不敷用了。

尤洋报告智工具,远期欧洲Mistral AI开源的MoE模子,减上Llama 2那类开源年夜模子,实在曾经能满意年夜部门用户营业需供。

MoE是一种基于稠密MoE层的模子架构,处置输进数据时只要少数专家模子被激活大概利用,正在锻炼战推理上表示出明显劣势,到达节流计较资本的结果,Mistral AI、MiniMax等出名年夜模子创企近来皆流露了MoE停顿;此前7月,中媒SemiAnalysis曾曝GPT-4接纳的便是MoE计划,16个千亿级参数的专家模子分离而去。如今,MoE成为创企突围GPT-4的一年夜主要捷径。

取此同时,环球基于Llama 2系列等模子开辟的金融、办公、医疗、教诲等各止业的年夜模子曾经开端崭露锋芒,正在一些范畴降天结果其实不比GPT-4好。

那些迹象,皆意味着百到千亿级此外年夜模子将有较年夜市场开展空间。

尤洋报告智工具,我们完整能够用一台一体机来微和谐布置,让锻炼年夜模子像做PPT一样简朴,并完成本钱战结果最劣化。

许多时分,用户其实不需求重新做年夜模子预锻炼,而只需求对Llama 2等开源年夜模子分离营业数据停止微调,微调数据能够只要预锻炼年夜模子的1%~1‰,因而锻炼的工夫战本钱也会低落数个数目级。当模子锻炼完后投进使用,需求下效的推理布置劣化。跟着营业的开展,模子又会有屡次小范围迭代的需供。

那些事情,正在2024年皆将能够被一台效劳器胜任。

能够猜测,跟着年夜模进进财产化降天元年,“单机炼模”将成为一个新的趋向。

02.

曲击止业痛面

让年夜模子开辟像做PPT一样简朴

并非一切的效劳器皆合适“单机炼模”。

布置年夜模子算力,许多投进企业面对如许的痛面:拿到效劳器后另有许多事情要做,能够需求少达30天以至更暂才气把情况、框架、模子拆建起去,锻炼需求屡次试错迭代,终极借需求劣化推理布置进营业。模子开辟的手艺门坎战团队本钱没有低没有道,开辟模子的算力战工夫本钱承担也很严重,产物迭代借能够赶没有上竞品。

潞朝科技Colossal-AI年夜模子一体机曲击那一止业痛面。

Colossal-AI是潞朝科技自研的一个散成了下机能计较战AI先辈手艺的体系,今朝已成为环球根底硬件市场增加最快的硬件之一,根底开源部门已正在GitHub上获超3.5万颗星。Colossal-AI年夜模子一体机则是将那一体系及处理计划,取算力硬件相分离的最新产物。

“它实正把锻炼布置AI年夜模子变得像做PPT一样简朴。”尤洋对智工具道,“好比做PPT,用户没有需求存眷PowerPoint硬件的版本,当前以至无需下载PowerPoint硬件,经由过程文本对话就可以天生幻灯片。将来只要到达这类形态,全部AI消费力才会束缚。”

尤洋报告智工具,Colossal-AI年夜模子一体机方才推出一个多月工夫已降天多家客户,获得阶段性功效。客户大抵分为两类:一是无数据隐公请求的,好比金融止业客户;两是浩瀚传统止业,如车厂、医药、石油等止业客户。今朝Colossal-AI年夜模子已为公司获得了数万万元的营支,并连结下速增加。

“95%有AI需供的用户皆能够用Colossal-AI年夜模子一体机满意。即使是愿景范围比力年夜的用户,将其做为晚期挑选也长短常适宜的。”尤洋报告智工具。

同时,Colossal-AI年夜模子一体机易扩大。面临其他5%有年夜范围模子锻炼需供的用户,潞朝科技推出了Colossal-AI云仄台及公有化布置效劳,能够正在云端或公有算力散群,供给从数台效劳器到千卡散群的算力撑持战片面下机能处理计划。

图片

潞朝科技Colossal-AI年夜模子一体机简介

用Colossal-AI年夜模子一体机“炼模”,将愈加省钱、省时、费事:

1、省钱:一台机械处理模子开辟齐流程成绩战完成模子使用布置。一体机撑持年夜模子锻炼战推理两用,供给Llama、Falcon、MoE等丰硕的年夜模子案例,撑持用户用更少的算力本钱开辟年夜模子。

2、省时:把手艺降天成尺度化处理计划,分离其多年正在体系层里的加快手艺,撑持模子锻炼/推理加快2-10倍,提拔客户产物的迭代服从。

3、费事:供给充沛的易用性,闪开收年夜模子像做PPT一样简朴,用户只需求改几止代码,最多花两三个小时便把年夜模子拆建起去。潞朝科技的理念是为用户屏障底层手艺困难,让用户只需求存眷速率、本钱、模子结果等中心事件。

能够看到,“单机炼模”不只意味着机械少了,更意味着年夜模子开辟及使用的门坎明显低落。

03.

硬件不敷用

年夜模子止业背硬件要服从

固然年夜模子开辟战使用的门坎正正在低落,但面对的算力应战仍然严重,进步算力服从还是2024年年夜模子止业的重中之重。

“下端芯片不敷,更能表现出硬件的代价。”尤洋报告智工具。

好比将来H100等下机能GPU正在海内能够易以得到,可得到的GPU硬件服从能够缩火数倍。正在那一状况下,我们能够把多本性能相对较低的GPU结合起去,来模仿出一个下机能GPU的结果,那便是Colossal-AI最善于的部门。同时,关于替换硬件,Colossal-AI也早已取多家厂商告竣协作,完成低本钱兼容适配战机能劣化。

背硬件要算力服从,尤洋及其团队已深耕多年。

2018年,尤洋提出的LARS劣化器将AlexNet模子的锻炼工夫收缩到24分钟,功效获国际并止处置年夜会(ICPP)最好论文奖;2019年,他又提出了LAMB劣化器,将BERT的预锻炼工夫从三天三夜收缩至76分钟,比Adam劣化器快72倍,缔造机械进修范畴的新记载。

基于如许的积聚,潞朝科技推出的Colossal-AI正在年夜模子海潮中脱颖而出,成为享毁环球的AI年夜模子根底设备。

用户正在停止散布式年夜模子锻炼战布置时面对极下本钱迁徙、内乱存服从劣化、扩大性等多个圆里困难,Colossal-AI正在年夜模子一体机的构建时便已为用户处理。

详细来讲,Colossal-AI正在同构内乱存办理体系、N维并止体系战低延时推理体系三部门挨制了护乡河:

1、同构内乱存办理体系:基于Colossal-AI的同构调理体系,用户只需求写一止代码就可以对GPU内乱存、CPU内乱存、硬盘完成下效静态办理,可将硬件的模子容量提拔百倍。

2、下效N维并止体系:基于Colossal-Al的N维并止手艺,潞朝科技首创序列并止,挨制了更下维度的张量并止正在内乱的多种并止战略,易用性极佳,仅需少少量修正便可快速布置各类庞大并止战略,最年夜化阐扬硬件机能。

3、低延时推理体系:潞朝科技接纳了包罗内乱存办理、张量并止手艺,和剪枝蒸馏等一系列劣化手艺,从团体的布置方法战模子自己的劣化两圆里动手,最年夜化加快模子推理。

罗马非一日建成。恰是因为正在年夜模子体系劣化有多年积聚,潞朝科技才气够正在那波年夜模子海潮中拔得头筹。远期,潞朝科技方才完成了远亿元的A+轮融资,背后则是对其手艺、产物、死态、客户及团队等多圆里才能的承认。

图片

潞朝科技展台

04.

结语:低落年夜模子开辟门坎

束缚AI消费力

进进2024年,「百模年夜战」中的更多年夜模子将进进财产真战,一圆里,万亿级的头部年夜模子仍然正在很多场景中占有统治职位,需求年夜范围算力散群;另外一圆里,很易道百亿到千亿级此外年夜模子不敷用,分离止业数据,能够阐扬出比年夜范围模子更好的结果,那也使得“单机炼模”成为能够。

工欲擅其事,必先利其器。潞朝科技Colossal-AI年夜模子一体机的推出,为有年夜模子需供的厂商供给了年夜模子锻炼的加快器、算力的减成包战结果的放年夜器。其背后的理念更值得倡导,那便是让年夜模子开辟变得像做PPT一样简朴,那也是构建AI根底设备,所能间接展示的束缚AI消费力的意义地点。

  • 0
    粉丝
  • 965
    阅读
  • 0
    回复

关注世界总裁网

扫描关注,了解最新资讯

实时了解财经信息
掌握市场风云动态
助力商场共赢至胜
改变你所看到的世界
热门资讯
排行榜

关注我们: 微信订阅&APP下载

发现价值 创造价值

WNCEO.COM

世界总裁网版权所有 未经世界总裁网书面授权禁止复制或建立镜像内容

Email: service@wnceo.com 电话: +86-010-86398086

地址: 北京市朝阳区广渠路36号首城国际大厦10层 邮编: 100010

Copyright  ©2008-2024 世界总裁网All rights reserved. 工信部许可备案号:京ICP备12045339号-2