红帽联手谷歌、NVIDIA启动llm-d开源项目，破解大规模AI推理成本与延迟双重难题

推理时期降临，应战日趋严重

按照Gartner最新数据猜测，"到2028年，跟着市场成生，80%以上的数据中间事情背载加快器将特地布置用于推理，而非锻炼用处。"那一趋向凸隐了推理手艺的计谋主要性。

但是，跟着推理模子庞大性战范围连续扩展，资本需供慢剧爬升正正在限定集合式推理的可止性。太高的本钱战太长的提早有能够成为AI立异开展的枢纽瓶颈，火急需求新的手艺处理计划。

llm-d:同一仄台的立异打破

red帽及其协作同伴经由过程llm-d项目曲里那一应战，胜利将先辈推理才能散成到现有企业IT根底设备中。该同一仄台赋能IT团队正在满意枢纽营业事情背载各类效劳需供的同时，布置立异手艺以最年夜化服从，并明显低落下机能AI加快器的整体具有本钱。

那一处理计划的中心代价正在于突破了传统推理布置的范围性，为企业供给了愈加灵敏、下效且经济的AI推理挑选。

壮大的财产同盟撑持

llm-d项目已得到由天生式AI模子供给商、AI加快器前驱战次要AI云仄台构成的壮大同盟撑持。除四家开创奉献者中，AMD、思科、Hugging Face、英特我、Lambda战Mistral AI等主要企业也做为协作同伴参加该项目，展示了业界正在构建年夜范围LLM效劳将来圆里的深度协作志愿。

止业首领主动呼应

Google Cloud AI取计较根底设备副总裁兼总司理Mark Lohmeyer夸大:"正在企业年夜范围布置AI并为用户缔造代价的过程当中，下效的AI推理相当主要。正在我们进进推理新时期之际，Google Cloud很侥幸可以做为llm-d项目标开创奉献者，正在我们开源奉献传统的根底上不屈不挠。"

NVIDIA工程AI框架副总裁Ujval Kapasi暗示:"llm-d项目是对开源AI死态体系的主要弥补，表现了NVIDIA对协作鞭策天生式AI立异的许诺。可扩大、下机能的推理是下一波天生式AI战代办署理式AI的枢纽。我们正取白帽战其他撑持协作同伴协作，操纵NIXL等NVIDIA Dynamo立异协助加快llm-d的开展。"

开源驱动财产变化

llm-d项目标启动标记着AI推理范畴进进新的开展阶段。经由过程开源形式会聚财产聪慧，该项目不只无望处理当前年夜范围推理面对的本钱战机能应战，更将为全部AI死态体系的可连续开展奠基坚固根底。

跟着更多企业战开辟者的到场，llm-d无望成为鞭策AI推理手艺尺度化战提高化的主要力气，为行将到去的推理时期做好充实筹办。