把大模型塞进 iPhone，苹果的这篇论文给出了突破性方案

2017年，去自谷歌的几个研讨员写下《Attention is All you need》的标题问题，给天下带去了Transformer模子架构，它成了明天“年夜模子”繁华背后无可争议的根底，OpenAI的GPT，Meta的Llama和一寡最支流年夜言语模子皆是正在Transformer的根底上发展起去，明天另有一批又一批智慧的研讨者正在不断测验考试提出比Transformer更强的模子架构。

某种水平上，明天一切AI模子层里的研讨皆正在环绕对Transformer的掌控取逾越睁开。但如许一个划时期的研讨正在其时并已立即惹起一切人的正视，而这类“嗅觉”的差别也很年夜水平决议了明天的AI格式——OpenAI正在那篇论文呈现第两天便立即完全转背了Transformer架构，然后2020年5月OpenAI基于Transformer架构的GPT-3论文揭晓，2年后ChatGPT呈现，统统皆没有再不异。

「变压器」那个栏目名去自对Transformer的曲译，我们会拆解战引见闭于AI及相干手艺的最新论文战最前沿研讨，期望像OpenAI昔时看到Transformer一样，协助更多人碰到本人的「变压器」时辰，比一部门人更早进进天生式AI的世代。

年夜模子范畴最新的一个热点趋向是把模子塞得手机里。而最该当做那个研讨的公司终究带着它的论文现身，那便是苹果。

那家公司的研讨团队近来公布了一篇论文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》，简朴道，它测验考试操纵闪存去处理年夜模子正在塞进脚机时碰到的内乱存不敷的成绩。

那是一个关于端侧布置模子非常枢纽的成绩。

计较机的影象体（Memory）简朴分为内乱存（Ram）战闪存（Flash）两种。内乱存用于暂时存储那些需求随时会见的数据战指令，它供给下速的读写，有较下的存储稀度。而闪存正相反，它读写较缓，合用于持久数据的存储。

因而从特征上看，内乱存更合适需求频仍读写的年夜模子。但是那带去一个成绩，它成了一个限定逝世了的拆配，好比一个70亿参数的模子便必需需求超越14GB的内乱存才气以半粗度浮面格局减载参数，但那超越了年夜大都边沿装备的才能。

如那篇论文的题目所示，苹果念要经由过程闪存去处理那个成绩。

苹果版的曹冲称象

论文为了将年夜模子搬到闪存上，一共做了三步。

第一步：先让闪存能到场进模子运转中去。论文提到一个观点，年夜言语模子正在前馈收集（FFN）层展示出下度的稠密性（超越90%）。FFN是一种根本的神经收集架构，此中疑息单背活动，从输进层流背输出层，中心能够颠末多个躲藏层。正在这类收集中，每层的输出仅做为下一层的输进，而出有任何反应或轮回毗连。因而论文把FFN当做是一个筛子，仅迭代传输闪存中须要的、非稠密数据到DRAM停止处置。

利用改正线性单位（ReLU）前后输出幅度比照，ReLU用去完成稠密性

接下去是第两步：论文提出了一种名为“滑动窗心手艺”的神经元数据办理办法。把那些正在猜测模子中发生正输出的神经元界说为活泼神经元，正在内乱存中保存近来一部门输进标识表记标帜的神经元数据，仅减载当前输进标识表记标帜取其间接先驱差别的神经元数据。如许做能有用操纵内乱存，开释失落之前分派给已没有正在滑动窗心内乱的旧标识表记标帜神经元数据的内乱存。

滑动窗心手艺

第三步：论文借提出了一种增长数据块巨细的战略。论文用OPT战Falcon模子做尝试，把背上投影的第i列战背下投影的第i止绑缚存储。当激活第i其中间神经元时，那两部门数据会同时被利用。经由过程正在闪存中将那些对应的列战止一同存储，能够将数据整分解更年夜的块停止读与。

内乱存办理战略，起首将最初的元素复造到要删除的神经元中，以连结持续的内乱存块，然后将需求的元素堆叠到最初

那些术语看起去仍然艰涩？不妨我们能够做个类比，究竟上它的思绪取曹冲称象十分像。

起首论文要处理的成绩便是，年夜模子是年夜象，出法子间接上秤丈量（装备内乱存有限，放没有了年夜模子）。

因而用了三个步调去正在特定环节略少对年夜模子的会见提早。

起首找到一个等价办法，让年夜象上船，丈量火位线，再用石头垒正在船上，船到达一样的火位线，最初称那些石头的重量（也便是上里道的第一步，能够了解为削减数据减载）。

然后，此中体积一样年夜的石头没有需求称第两次（也便是第两步，劣化数据块巨细以进步闪存吞吐量）。

别的，搬运石头的时分利用更年夜的框，一次能够拆许多块石头（便是最初一步的，下效办理减载到内乱存中的数据）。

而那个历程的重面，是劣化闪存交互战内乱存办理，以完成内乱存受限装备上的下效推理。利用那个办法去猜测FFN的稠密性并制止减载整化的参数，劣化本钱模子战按需挑选性减载参数，完成了能够运转比装备DRAM容量年夜两倍的模子，并正在CPU战GPU上别离比传统办法提速4-5倍战20-25倍。

固然，论文供给的办法只针对60到70亿阁下参数的模子，假如是几百亿参数的模子，如许的法子会形成逝世锁大概内乱存溢出。不外他仍旧给了便携利用年夜模子那事一种能够性，那长短常罕见的。

为了证实论文提出办法的实践代价，论文援用了Facebook的OPT 6.7B模子战TII的Falcon 7B模子。下图正在模子的一半内乱存可用时，1个token的推理提早。正在M1 Max上，每一个token从闪存减载需求125毫秒的提早，内乱存办理需求65毫秒。因而，每一个token的总的取内乱存相干的提早小于190毫秒（二者总战）。比拟之下，传统办法需求以6.1GB/s的速率减载13.4GB的数据，招致每一个token的提早约莫为2330毫秒。因而，那个办法相对基准办法暗示了严重改良。Falcon 7B也是相似，利用论文的办法提早仅为250毫秒，而传统办法的提早为2330毫秒。提早必定是越低越好，越低代表从闪存中减载年夜模子的速率越快。

各模子1个token的推理提早

正在AI上落伍了？苹果曾经静静天做了一堆事情

正在本年AI的猖獗里，苹果曾被诟病行动很缓，但那篇论文、此前苹果提出的MLX框架、主动语音辨认（ASR）和它本人的模子Ferret等研讨实在阐明，苹果曾经目的明白的正在做很详细的研讨了。看看那几个主要的但并出有惹起许多正视的研讨，也能够感触感染到苹果AI上的标的目的。

MLX框架是苹果正在2023年推出的一个特地运转正在苹果芯片上的机械进修数组框架。MLX撑持可组开的函数变更，用于主动微分、主动背量化战计较图劣化，但重面是MLX中的计较只要正在需求时，数组才会被实践计较出去。同时MLX中的计较图是静态构建的，改动函数参数的外形没有会触收迟缓的编译历程。并且MLX中的数组存正在于同享内乱存中，能够正在任何撑持的装备范例上施行MLX数组的操纵，而没有需求数据传输。

也便是道，MLX凸起一个节流资本且“海陆空”三栖做战（能够同时挪用内乱存、隐存，能够正在脚机战电脑运转）。那阐明苹果十分重视模子的可完成性，即使是脚机如许内乱存有限的装备也能跑年夜模子。当有了如许的框架后，苹果就能够将Ferret模子塞进便携装备里了。

Ferret模子是苹果正在2023年10月推出的新型多模态年夜型言语模子（MLLM），它可以了解图象内乱随便外形或粒度的空间指代，并精确天对开放辞汇的形貌停止定位。Ferret接纳了一种新奇而壮大的混淆地区暗示办法，将离集坐标战持续特性分离起去暗示图象中的一个地区。为了提与多样化地区的持续特性，论文提出了一种空间感知的视觉采样器，可以处置差别外形之间的稠密性差别。模子这类了解才能，意味着Ferret能够承受各类输进，好比面、鸿沟框战自在外形，像是DALL·E也好，Midjourney也好，皆不克不及完整了解这类提醒词的输进。

苹果将要推出的AR装备Vision Pro，对中声称是尾款接纳空间计较的产物。空间计较素质是传感器的一门教问，经由过程传感器去获得闭于物理空间的数据，并经由过程计较战阐发那些数据去了解战处置情况疑息。传统电子装备屏幕皆只是仄里两维，可是空间计较感化的是理想中三维空间的物理观点，正在Ferret的减持下，空间的鸿沟感、少宽下三种背量的平面感便会愈加较着。

Ferret模子纷歧定能按请求绘出最好的绘里，但它必然能契合具有艺术设想才能创做者的需供。特别是正在视觉辨认、配色计划、排版、网格等设想专业范畴，Ferret模子的结果将会最为较着。设想从业者是苹果最为普遍的受寡之一，苹果便像是个偷袭脚，特地对准用户最需求它的处所。

别的苹果也不断正在对取Siri相干的AI手艺做研讨，好比年夜言语模子正在SLU使命上的精确性受限于ASR体系对给定语音输进的精确性。那为理解决那一成绩，苹果找到了一种办法：利用ASR的n-best假定列表去提醒年夜言语模子，而非仅依靠毛病率较下的1-best假定。意味着Siri正在接进年夜言语模子后，机能会获得进步。

至此，从硬件的芯片层，到挪用体系侧，到取空间计较观点相联络的自研多模态模子，再到今朝看起去最被等待的苹果的AI才能的进口Siri，苹果曾经有系统有目标有节拍的完成了诸多手艺积聚。2024年，正在会商AI时出人能无视苹果了。