谷歌DeepMind展示GenRM技术：微调LLMs作为奖励模型，提升生成式AI推理能力

AI 止业内乱，今朝进步年夜言语模子（LLMs）的支流做法便是 Best-of-N 形式，即由 LLM 天生的 N 个候选处理计划由考证器停止排序，并选出最好计划。

这类基于 LLM 的考证器凡是被锻炼成鉴别分类器去为处理计划挨分，但它们没法操纵预锻炼 LLMs 的文本天生才能。

DeepMind 团队为了克制那个范围性，测验考试利用下一个 token 猜测目的去锻炼考证器，同时停止考证息争决计划天生。

DeepMind 团队这类天生式考证器（GenRM），比拟较传统考证器，次要包罗以下长处：

无缝散成指令调解

撑持思想链推理

经由过程大都投票操纵分外的推理工夫计较

正在算法战小教数教推理使命中利用基于 Gemma 的考证器时，GenRM 的机能劣于鉴别式考证器战 LLM-as-a-Judge 考证器，正在利用 Best-of-N 处理成绩的百分比上进步了 16-64%。

据 Google DeepMind 报导，GenRM 相对分类嘉奖模子的边标记着野生智能嘉奖体系的枢纽演变，出格是正在其容量圆里，以避免新模子教成到的狡诈举动。那一前进凸起表白，火急需求完美嘉奖模子，令人工智能输出取社会义务尺度连结分歧。