价值无处不在,世界财经资讯媒体平台。
手机版
访问手机版
世界总裁网 首页 头条资讯 世界企业 新闻内容

红帽联手谷歌、NVIDIA启动llm-d开源项目,破解大规模AI推理成本与延迟双重难题

发布时间: 2025-5-30 08:45| 发布者: wangjing| 查看: 7078| 评论: 0

摘要: 全球开源解决方案领导者红帽公司近日宣布启动革命性开源项目llm-d,专门应对生成式AI大规模推理的迫切需求。该项目汇聚了CoreWeave、Google Cloud、IBM Research和NVIDIA等行业巨头作为创始贡献者,旨在通过突破性技 ...
 环球开源处理计划指导者白帽公司克日颁布发表启动反动性开源项目llm-d,特地应对天生式AI年夜范围推理的火急需供。该项目会聚了CoreWeave、Google Cloud、IBM Research战NVIDIA等止业巨子做为开创奉献者,旨正在经由过程打破性手艺让年夜言语模子推理云满意最宽苛的消费效劳级目的。

推理时期降临,应战日趋严重

按照Gartner最新数据猜测,"到2028年,跟着市场成生,80%以上的数据中间事情背载加快器将特地布置用于推理,而非锻炼用处。"那一趋向凸隐了推理手艺的计谋主要性。

但是,跟着推理模子庞大性战范围连续扩展,资本需供慢剧爬升正正在限定集合式推理的可止性。太高的本钱战太长的提早有能够成为AI立异开展的枢纽瓶颈,火急需求新的手艺处理计划。

白帽联脚谷歌、NVIDIA启动llm-d开源项目,破解年夜范围AI推理本钱取提早两重困难

llm-d:同一仄台的立异打破

red帽及其协作同伴经由过程llm-d项目曲里那一应战,胜利将先辈推理才能散成到现有企业IT根底设备中。该同一仄台赋能IT团队正在满意枢纽营业事情背载各类效劳需供的同时,布置立异手艺以最年夜化服从,并明显低落下机能AI加快器的整体具有本钱。

那一处理计划的中心代价正在于突破了传统推理布置的范围性,为企业供给了愈加灵敏、下效且经济的AI推理挑选。

壮大的财产同盟撑持

llm-d项目已得到由天生式AI模子供给商、AI加快器前驱战次要AI云仄台构成的壮大同盟撑持。除四家开创奉献者中,AMD、思科、Hugging Face、英特我、Lambda战Mistral AI等主要企业也做为协作同伴参加该项目,展示了业界正在构建年夜范围LLM效劳将来圆里的深度协作志愿。

止业首领主动呼应

Google Cloud AI取计较根底设备副总裁兼总司理Mark Lohmeyer夸大:"正在企业年夜范围布置AI并为用户缔造代价的过程当中,下效的AI推理相当主要。正在我们进进推理新时期之际,Google Cloud很侥幸可以做为llm-d项目标开创奉献者,正在我们开源奉献传统的根底上不屈不挠。"

NVIDIA工程AI框架副总裁Ujval Kapasi暗示:"llm-d项目是对开源AI死态体系的主要弥补,表现了NVIDIA对协作鞭策天生式AI立异的许诺。可扩大、下机能的推理是下一波天生式AI战代办署理式AI的枢纽。我们正取白帽战其他撑持协作同伴协作,操纵NIXL等NVIDIA Dynamo立异协助加快llm-d的开展。"

开源驱动财产变化

llm-d项目标启动标记着AI推理范畴进进新的开展阶段。经由过程开源形式会聚财产聪慧,该项目不只无望处理当前年夜范围推理面对的本钱战机能应战,更将为全部AI死态体系的可连续开展奠基坚固根底。

跟着更多企业战开辟者的到场,llm-d无望成为鞭策AI推理手艺尺度化战提高化的主要力气,为行将到去的推理时期做好充实筹办。

  • 0
    粉丝
  • 7078
    阅读
  • 0
    回复

关注世界总裁网

扫描关注,了解最新资讯

实时了解财经信息
掌握市场风云动态
助力商场共赢至胜
改变你所看到的世界
热门资讯
排行榜

关注我们: 微信订阅&APP下载

发现价值 创造价值

WNCEO.COM

世界总裁网版权所有 未经世界总裁网书面授权禁止复制或建立镜像内容

Email: service@wnceo.com 电话: 010-86398086 / 400-848-6648

地址: 北京市朝阳区广渠路36号首城国际大厦10层 邮编: 100010

Copyright  ©2008-2025 世界总裁网All rights reserved. 工信部许可备案号:京ICP备12045339号-2