手机能跑！微软小模型击败Llama 2，96块A100 GPU训练14天，参数规模仅27亿

做者 | 程茜

编纂 | 李火青

智工具12月13日报导，昨日早间，微硬又明出了小模子年夜招！

微硬公布了27亿参数范围的小言语模子Phi-2，经研讨职员测试，Phi-2正在参数范围小于130亿的模子中展现了开始进机能。

从机能表示看，Phi-2正在Big Bench Hard（BBH）、知识推理、言语了解、数教战编码基准测试中，其均匀机能得分曾经超越70亿、130亿参数范围的Mistral战Llama 2，正在部门基准测试中超越谷歌的Gemini Nano 2。

Phi-2另有一年夜劣势是，由于参数范围充足小，其能够正在条记本电脑、脚机等挪动装备上运转。

已往几个月间，微硬研讨院的机械进修根底团队连续公布了小型言语模子（SLM）Phi系列。

此中，第一个模子为13亿参数范围的Phi-1，民圆专客称，Phi-1正在SLM中的Python编码圆里表示最好，正在HumanEval战MBPP基准测试上尤甚。第两个模子为13亿参数范围的Phi-1.5，那个模子的重面为知识推理战言语了解才能。

如今微硬公布的Phi-2能为研讨职员探究机械可注释性、宁静性改良或对各类使命的微调尝试上供给协助，今朝，Phi-2曾经从Azure AI Studio模子目次中开放给研讨职员。

1、96块A100 GPU锻炼14天，参数范围仅27亿

一些年夜模子的参数范围到达数千亿的量级，使得其出现出浩瀚新兴才能，那末，能否能够经由过程改动锻炼战略等方法让更小的参数完成那些才能？微硬的小型言语模子（SLM）系列大概是那一成绩的谜底。

Phi-2是一个基于Transformer架构的模子，具有下一个单词猜测目的，正在用于NLP战编码的分解数据散战Web数据散的混淆上屡次通报的1.4T tokens长进止锻炼。

Phi-2正在96个A100 GPU上锻炼了14天，做为一个根底模子，其出有经由过程人类反应强化进修（RLHF）停止对齐，也出有停止指令微调。

虽然云云，取颠末调解的现有开源模子Llama 2-7B比拟，研讨职员察看到正在制止天生有进犯性、有害战内乱容有偏向圆里Phi-2的表示也没有好。

研讨职员按照ToxiGen的13小我私家心统计数据计较的宁静评分，他们挑选6541个句子的子散，并按照猜疑度战句子“毒性”停止0到1之间的评分。分数下便阐明，模子发生有进犯性、有害句子的能够性较小。

▲Llama 2取Phi-2正在天生有进犯性、有害战内乱容有偏向圆里机能比力（图源：微硬民圆专客）

微硬利用Phi-2突破了传统言语模子缩放定律，此中有两个枢纽环节：

第一是锻炼数据的量量对模子的机能相当主要。微硬的模子锻炼数据包罗特地创立的分解数据散，用于传授模子知识推理，借包罗科教、心思等范畴的知识。

研讨职员借选择了一些收集数据进一步扩大锻炼语料库，并基于内乱容的代价战量量停止了数据过滤。

别的，从13亿参数范围的Phi-1.5开端，微硬的研讨职员完成了范围化的常识转移，将Phi-1.5的常识嵌进到27亿参数的Phi-2中。这类办法不只加快了锻炼支敛，并且进步了Phi-2的基准分数。

▲Phi-2战Phi-1.5比力（图源：微硬民圆专客）

2、基准测试击败Llama 2、Mistral、Gemini Nano 2

微硬总结了Phi-2正在教术基准上取支流言语模子的机能表示比照。

其基准测试涵盖Big Bench Hard（BBH数据散）和PIQA、WinoGrande、ARC easy、Challenge、SIQA的知识推理、HellaSwag、OpenBookQA、MMLU、SQuADv2的言语了解数据散，GSM8k数教数据散战HumanEval、MBPP的编码数据散等。

27亿参数范围的Phi-2，正在BBH、知识推理、言语了解、数教、编码各项基准测评上皆超越了70亿、130亿参数范围的Mistral战Llama 2。

比拟于参数范围差异正在25倍的700亿参数Llama 2，Phi-2正在编码、数教等多步推理使命上表示更好。

▲Llama 2、Mistral、Phi-2机能比力（图源：微硬民圆专客）

别的，微硬借比力了Phi-2取谷歌近来公布的Gemini Nano 2，谷歌公布的模子参数范围为32.5亿，Phi-2的机能表示部门劣于Gemini Nano 2。

▲Phi-2、Gemini Nano 2机能比力（图源：微硬民圆专客）

思索到一些大众基准测试的数据能够会走漏到锻炼数据中，微硬对第一个模子Phi-1停止了普遍的净化研讨以解除这类能够性。

基于判定言语模子的最好办法是正在详细用例上对其停止测试的考量，研讨职员利用了多个微硬内乱部专无数据散战使命评价了Phi-2，并再次将其取Mistral战Llama 2停止比力，其成果为，均匀而行Phi 2劣于Mistral-7B，后者劣于70亿、130亿、730亿参数范围的Llama-2模子。

除基准测试中，研讨职员借测试了社区内乱的一些经常使用提醒，他们察看到的表示也取基准测试的成果预期分歧。

此中，研讨职员测试了用于评价谷歌Gemini Ultra模子正在处理物理成绩圆里才能的成绩。

取Gemini的测试相似，研讨职员进一步背Phi-2讯问门生的毛病谜底，去确认它能否能辨认堕落误地点。

不外，从输出成果去看，那其实不完整是取Gemini陈述中形貌的Gemini Ultra输出的同类比力，Gemini测评中门生的谜底上传了脚写文本的图象，Phi-2的测试接纳的是本初文本。

结语：年夜模子时期，小模子仍正在兴起

Phi-2的参数范围唯一27亿，但比拟于参数范围更年夜的70亿、130亿模子，其机能表示仍没有减色。微硬专注于小模子市场的规划，也印证了年夜模子时期小模子的代价。

微硬取OpenAI的合作无懈，使得GPT模子的表示正在年夜模子市场一骑尽尘，再减上微硬参数范围更小的Phi系列，能进一步抢占开源模子少尾市场。不外从今朝去看，Phi系列仅被许可用于研讨目标。

从市场去看，愈来愈多的玩家开端探究正在脚机等挪动装备上布置年夜模子，微硬此举大概也会加快模子才能正在端侧的使用。