陈丹琦新作：大模型强化学习的第三条路，8B 小模型超越 GPT-4o

结合 RLHF 与 RLVR 的优势，仅需 8B 参数的小模型便能超越 GPT-4o，并媲美 Claude-3.7-Sonnet。

陈丹琦团队最新研究引发广泛关注。

他们提出了一种名为 RLMT（Reinforcement Learning with Model-rewarded Thinking，基于模型奖励思维的强化学习）的新方法。该方法要求模型在输出最终答案前先生成思维链（CoT），并利用基于人类偏好的奖励模型对结果进行评估。

此方法可直接应用于基础模型，无需监督微调（SFT），显著降低了后训练的成本与复杂度。

业界评价认为，RLMT 为通用强化学习设定了新的基准：谁定义了偏好标准，谁就掌握了后训练时代的“话语权”。

让小模型实现对大模型的反超

尽管 RLVR（基于可验证奖励的强化学习）在数学推理和代码生成等任务中表现出色，但在开放性更强的任务（如撰写提纲、设计营养计划）上泛化能力有限。

而 RLMT 正是证明了，RLVR 范式同样适用于非结构化、主观性强的日常推理场景。

它通过引导模型在回答前生成长链推理，并采用与 RLHF 相同的人类偏好奖励模型进行在线强化学习，从而提升整体表现。

即便是面对非代码或非数学问题，模型也能按步骤拆解：回顾背景→综合信息→提炼关键主题→确立核心准则→举例说明→形成结构化输出。

例如，在 Wildbench 这一基于真实用户任务构建的评测基准上，经过 RLMT 优化的 Qwen2.5-7B 显著领先于其他同类模型。

其训练流程如下：

给定用户提示 x，模型首先生成推理路径 z，再基于 z 输出最终回答 y，随后由奖励模型 r(x, y) 对 y 打分。

从数学角度看，RLMT 的优化目标为：

实验中使用的奖励模型为 Skywork-v2，基于人类偏好对回答的流畅性、相关性、逻辑性和创意等多个维度评分。

在优化算法方面，研究测试了 DPO、PPO 和 GRPO 等在线强化学习方法，发现 GRPO 表现最优。即便使用 DPO 或 PPO，RLMT 也始终优于传统 RLHF。

训练数据来源于真实的用户对话，避免了 RLVR 常见的过度拟合数学与编程任务的问题。

训练策略分为两种：

Voicepods

Voicepods是一个在线文本转语音平台，允许用户在30秒内将任何书面文本转换为音频文件。

93

查看详情

Warm-start（带 SFT 预热）：先用少量 SFT 数据教会模型输出 CoT 格式，再通过 RLMT 进一步优化；
Zero（无 SFT 训练）：直接在基础模型上添加固定前缀提示，引导其学会“思考+回答”模式，仅靠 RLMT 即可超越标准 instruct 模型。

最终，RLMT 使模型的推理方式更接近人类——自动掌握分组归纳、约束分析、跨模块关联与迭代修正等高级思维技巧，显著提升了对话质量与创作能力。

研究团队主要在 Llama3.1-8B 和 Qwen2.5-7B 两个模型上验证了 RLMT 的效果。

结果表明，小型模型经此方法训练后，性能可超越大型商用模型，同时大幅降低后训练资源消耗。

来自普林斯顿的科研力量

本研究由三位学者共同完成：陈丹琦、Adithya Bhaskar 与叶曦。

陈丹琦现任普林斯顿大学计算机科学系副教授，领导普林斯顿 NLP 团队，近期加入 Thinking Machines Lab。她本科毕业于清华大学“姚班”，2018 年于斯坦福大学获得博士学位，师从 Christopher Manning，曾获被誉为“诺奖风向标”的斯隆奖。

她的研究聚焦于自然语言理解、知识表示与推理、问答系统、信息抽取及对话系统等领域。

论文第一作者为 Adithya Bhaskar 与叶曦。

Adithya Bhaskar 是普林斯顿大学三年级博士生，师从陈丹琦。

叶曦为普林斯顿语言与智能研究所博士后，本科毕业于清华大学，后于奥斯汀大学取得博士学位。其研究方向为 NLP，专注于提升大模型的可解释性与推理能力。

论文地址：
https://www.php.cn/link/244b45ed436c1b580a34ca2770eca240

一键三连「点赞」「转发」「小心心」

欢迎在评论区分享你的看法！

— 完 —

量子位智库 AI100 季度榜单征集中！提名截止至 10 月 10 日。快来推荐 2025 年 Q3 的「AI 100」双榜单产品吧～

一键关注 点亮星标

科技前沿动态每日更新

以上就是陈丹琦新作：大模型强化学习的第三条路，8B 小模型超越 GPT-4o的详细内容，更多请关注php中文网其它相关文章！