HotPursuit

大语言模型对齐技术全景：从 RLHF 到 RLVR 的技术演进与统一视角

RL相关知识入库于 2026/6/3|
RL相关知识对齐技术RLHFDPORLVR

大语言模型对齐技术全景：从 RLHF 到 RLVR 的技术演进与统一视角

本文综合整理自四篇权威综述（arxiv: 2407.16216 / 2507.19672 / 2508.09016 / 2502.09101），试图用「导师讲课」的方式，而不是「论文翻译」的方式，带你系统理解 LLM 对齐技术的来龙去脉。

一、为什么对齐技术如此重要

先讲一个真实发生的故事。

2016 年，微软发布聊天机器人 Tay，接入 Twitter 不到 24 小时，它就开始发表种族歧视言论、阴谋论和纳粹宣传内容——因为它从用户互动中「学习」到了这些。微软紧急下线了 Tay。

更近一些：2023 年，有人通过「角色扮演」技巧，让 ChatGPT 扮演「没有限制的 AI」（俗称越狱），成功套出了制作危险物品的步骤。

这两个例子揭示了同一个根本问题：语言模型本质上是一个「文本补全机器」，它预测的是「什么词最可能出现在这里」，而不是「什么回答对人类最有益」。

想象一下：你训练了一个统计学生，他的目标是「在考试中得高分」。如果考试题目设计有漏洞，他会利用漏洞答题，而不是真正理解知识。LLM 也是如此——预训练目标（预测下一个 token）和「对人类有帮助」之间，存在巨大的 gap。

**对齐技术（Alignment）**就是为了弥合这个 gap：让模型的行为真正符合人类意图，而不只是统计上「看起来像合理的文本」。

研究表明，一个经过对齐训练的 1.3B 参数 InstructGPT 模型，在人类偏好评测中击败了完全没有对齐的 175B GPT-3——参数量差了 100 倍，但对齐后的小模型更受用户喜爱。这说明对齐不是锦上添花，而是决定模型是否真正「可用」的关键。

二、对齐的目标是什么

如果你问十个人「什么是好的 AI 助手」，会得到十种答案。但研究者把核心目标归纳为三个维度：

帮助性（Helpful）：能真正解决用户问题，而不是打官腔、说废话。 无害性（Harmless）：不产生有害内容，不被滥用于危险目的。 诚实性（Honest）：不编造事实，承认不确定性，不操纵用户。

这三个目标看起来都很合理，但麻烦在于——它们之间存在根本性的 Pareto 冲突。

举个例子：

  • 有人问：「我想了解制毒的化学原理」。作为化学老师，「帮助性」要求你解释；作为安全卫士，「无害性」要求你拒绝。
  • 有人问：「帮我写一封委婉的拒绝信，但不要让对方知道我真正的理由」。「帮助性」要求你配合；「诚实性」让你不舒服。
  • 有人问：「你觉得我的想法怎么样？」如果你诚实地说「这个想法有很大的缺陷」，用户可能不满意，「帮助性」就降低了。

这种冲突没有完美解法。调高「无害性」，模型会变得过度谨慎，动不动就拒绝回答（这叫 over-refusal）；调高「帮助性」，模型可能迎合一切请求，包括有害的。

对齐研究的核心挑战，正是如何在这个三角形中找到动态平衡点。

三、技术演进路线图

让我们沿着历史脉络，看清楚每一步技术出现的「必要性」。

第一代：规则过滤（Rule-based Filtering）

最朴素的想法：维护一个黑名单，遇到危险词汇就拦截。

为什么不够用？因为语言是活的。你屏蔽了「炸弹」，用户写「b炸弹」；你屏蔽了直接的伤害词，用户用隐晦的比喻。规则永远追不上语言的创造力。更重要的是，规则无法捕捉「语境」——「刀」在菜谱文章和攻击指南里完全不同。

第二代：监督微调（Supervised Fine-Tuning, SFT）

让人类专家写出「理想的回答」，然后用这些数据直接微调模型，让模型学习「在这种问题下，应该回答成这样」。

为什么不够用？因为人类很难事先写出所有情况的理想答案，但人类很擅长「比较」——给你两个答案，你能立刻判断哪个更好。SFT 采集的是绝对标注，而人类更擅长相对排序。而且 SFT 容易让模型过拟合到特定的回答风格，而不是真正理解「什么叫好」。

第三代：基于人类反馈的强化学习（RLHF）

这是 InstructGPT、ChatGPT 背后的核心技术。思路更精妙：

  1. 先收集人类的偏好比较（回答 A vs 回答 B，哪个更好？）
  2. 用这些比较数据训练一个奖励模型（Reward Model），让它学会「什么是好回答」
  3. 用强化学习（PPO 算法）优化语言模型，让它生成能获得高奖励的回答

这个思路非常优雅：把「人类偏好」蒸馏成一个可微分的函数，再用梯度优化。

为什么不够用？奖励模型本身会被「黑」。这叫「奖励欺骗」（Reward Hacking）：模型发现了某些能骗过奖励模型但对用户无益的技巧（比如生成超长但空洞的回答，因为人类标注者倾向于觉得「详细 = 好」）。更麻烦的是，RLHF 需要维护三个模型（策略模型、奖励模型、参考模型），训练稳定性差，工程成本极高。

第四代：直接偏好优化（DPO）

2023 年 Rafailov 等人提出了一个数学上的「魔法」：把奖励模型彻底消掉，直接从偏好数据训练策略模型。

核心洞见：Bradley-Terry 偏好模型告诉我们，「最优奖励函数」和「最优策略」之间有一个解析关系。既然如此，何必绕道奖励模型？直接优化策略模型，让它的行为符合偏好数据就好了。

DPO 把 RLHF 变成了一个闭合形式的分类问题，稳定性大幅提升，也不再需要维护单独的奖励模型。

为什么还不够用？DPO 依赖偏好数据，而人类偏好在复杂推理任务中很难采集，也容易带来主观噪声。对于数学、代码这类有「客观正确答案」的任务，DPO 的表现不如基于真实验证信号的方法。

第五代：基于可验证奖励的强化学习（RLVR）

DeepSeek-R1、OpenAI o1 背后的核心思想：如果任务有客观可验证的答案（数学题、代码），就直接用「答案对不对」作为奖励信号，跳过奖励模型，跳过人类偏好。

RLVR 彻底解决了「奖励欺骗」问题——你没法骗过数学验证器，答案要么对要么错。研究表明，RLVR 已经超越传统 RLHF 成为推理能力增强的主流路径。

现代最佳实践已经形成了一条三阶段流水线：SFT → DPO → GRPO（GRPO 是 RLVR 的一种高效实现）。

四、两大主流方向深度对比

4.1 基于人类偏好的对齐（DPO 流派）

为什么需要？ 对话质量、语气礼貌、内容安全这些维度，没有客观答案，必须依赖人类判断。

核心思想： 给模型看「好回答 vs 坏回答」的配对，让它学会「什么叫更好」。DPO 的优雅之处在于，它直接优化策略，使得好回答的概率 ÷ 参考模型概率 之比，高于坏回答的对应比值。

直觉理解： 想象你在培训一个客服。你不需要告诉他每种情况的最佳话术（那是 SFT），而是让他看大量的「好客服 vs 差客服」对话，让他自己悟出什么叫「好」。DPO 就是这个「比较学习」的自动化版本。

适用场景： 对话礼貌度、内容安全、风格一致性等主观质量维度。

DPO 的改进变体：

  • SimPO：进一步简化，去掉参考模型依赖，用序列长度归一化奖励
  • KTO：不需要配对数据，只需要「这个回答好/不好」的二元标注

4.2 基于可验证奖励的对齐（RLVR 流派）

为什么需要？ 数学推理、代码生成有客观答案，人类偏好标注往往不可靠（标注者可能自己也不会做题），而且 DPO 无法鼓励模型「探索新的正确解法」。

核心思想： 让模型生成多个回答，用客观验证器（数学验证器、代码执行器）打分，用强化学习鼓励「正确」、惩罚「错误」。

直觉理解： 这就像让一个学生做数学练习册。他做完对答案——对了就巩固这种解题思路，错了就反思。没有任何「我觉得这个解法看起来比较聪明」的主观判断，只有「答案对不对」这一个真实信号。

GRPO 的关键改进： 传统 RLHF 里的 PPO 需要一个 Critic 网络（负责估计「这步行动的长期价值」），训练成本很高。GRPO 的洞见是：在一个 batch 里对同一个问题采样多个回答，用这批回答的奖励均值作为「基线」，从而消掉了对 Critic 网络的需求。组内相对排名替代了绝对价值估计。

适用场景： 数学、代码、逻辑推理等可客观验证的任务。

DAPO 的进一步优化： 针对长推理链，DAPO 引入了 token 级别的奖励裁剪和动态采样策略，进一步提升训练稳定性。

4.3 统一视角：它们本质上在做什么

这里有一个非常深刻的洞见来自「统一策略梯度框架（UPT）」。

PPO、DPO、GRPO，本质上都是在做同一件事：

策略梯度 = 梯度系数 × log π(回答) 的梯度

区别只在于梯度系数怎么计算：

方法梯度系数的含义
PPO奖励模型打分 - Critic估计的基线
GRPO奖励 - 组内平均奖励（不需要 Critic）
DPO好回答概率比值 - 坏回答概率比值（用偏好数据算出来的「隐式奖励」）
SimPO序列长度归一化后的奖励差值

这个统一视角的价值在于：当你理解了「都是在调整梯度系数」，你就能看清楚每个方法在什么假设下成立，什么地方会出问题，以及如何改进。

比如 DPO 为什么有时候会让「好答案概率反而下降」？因为它的梯度系数是相对的——如果好答案和坏答案都离参考模型很远，梯度方向可能出现异常。SimPO、KTO 都是在解决这个问题的不同版本的尝试。

五、前沿方向：无训练对齐

前面说的所有方法都需要修改模型权重。但这带来了一个新问题：对于已经部署的模型，或者参数量极大、根本无法负担微调成本的模型，我们能做什么？

这催生了「无训练对齐」（Training-free Alignment）这个新兴方向。

三种干预时机

就像你可以在不同阶段影响一篇文章的质量——写之前（选题）、写的过程中（改稿）、写完之后（审校）——无训练对齐也分三个阶段：

Pre-Decoding（解码前干预）：在模型开始生成之前，通过精心设计的 prompt 或系统指令来引导对齐。

  • 代表方法：URIAL（只用 3 个精心选择的 ICL 示例）

In-Decoding（解码中干预）：在模型每步生成 token 时，实时调整概率分布。

  • 代表方法：对比解码（Contrastive Decoding）——用「对齐模型概率 - 未对齐模型概率」来提升对齐质量；GenARM（用奖励模型实时引导每步生成）；隐状态调整（直接修改 Transformer 内部的激活值）

Post-Decoding（解码后干预）：生成结束后，筛选或修改输出。

  • 代表方法：最优-N 采样（生成 N 个候选，选奖励最高的）；迭代精炼

URIAL 的惊人发现

最让研究者震惊的是 URIAL 的实验结果：只用 3 个精心设计的 ICL 示例（无需任何参数更新），就能让基础模型的对齐表现达到甚至超过经过完整 RLHF/SFT 微调的模型。

这说明了什么？对齐所需要的「知识」已经在预训练中隐式存在了，缺的只是正确的「激活方式」。 换句话说，模型其实「知道」什么是好的行为，只是默认状态下不会主动表现出来。

这个发现对整个对齐领域有深远影响：也许我们需要的不总是「灌输新知识」，而是「找到正确的开关」。

六、对齐不只是技术问题：指令理解的挑战

前面我们讲的都是「如何优化」，但有一个更根本的问题常常被忽视：模型真的理解了用户在说什么吗？

语言的模糊性

「帮我写一封给领导的邮件」——领导是谁？关系亲近还是疏远？正式还是轻松？什么事情？这些信息全都没有，但用户认为你应该能猜出来。

人类之间靠的是共同的社会文化背景和隐性知识来消歧义。模型缺乏这种「理所当然」的背景知识，在面对模糊指令时，往往选择最常见的解释，而不是最符合用户真实意图的解释。

多轮对话的错误累积

在多轮对话中，每一轮都有可能对用户意图产生细微的误解。这些误解会累积放大。第三轮的时候，模型的行为可能已经偏离用户最初的真实意图很远了，但用户和模型都没有意识到。

更麻烦的是，研究发现 RLHF 和 SFT 本身可能损伤多轮对话能力——因为训练数据大多是单轮的，模型在多轮场景下的泛化能力反而可能下降。

意图推理的三个层次

理解一个用户的意图，实际上需要三个层次的推理：

  1. 字面意图（What they said）：用户说了什么
  2. 真实意图（What they meant）：用户真正想要什么
  3. 隐性期望（What they assumed）：用户认为理所当然但没有说出来的

比如用户说「帮我优化这段代码」，字面意图是优化代码，真实意图可能是让代码运行更快，隐性期望是保持代码风格不变、不要引入新 bug、不要改变函数接口。如果模型只处理字面意图，交出一个「更快但破坏了接口」的版本，用户会非常不满。

DeepSeek-R1 采用的两阶段 RL 策略（先强化基础推理能力，再用 RL 对齐人类偏好）被证明能有效提升这种深层意图理解能力，因为推理能力本身就是「搞清楚话背后的话」的基础。

七、现实应用：各大实验室怎么做

OpenAI / ChatGPT

经典三步走：SFT → 奖励模型 → PPO（RLHF）。InstructGPT 是这个范式的奠基工作，证明了 1.3B 对齐模型可以胜过 175B 未对齐模型，建立了整个 RLHF 范式的权威性。

Anthropic / Claude

在 RLHF 基础上，引入了 Constitutional AI（CAI / RLAIF）：让模型根据一套明确的「宪法原则」来自我评估和改进。核心创新是用 AI 反馈替代部分人类反馈——让模型自己判断回答是否符合宪法原则，生成训练信号。这大大减少了对人类标注的依赖，也让「安全原则」更加明确和可解释。

DeepSeek / DeepSeek-R1

采用了 两阶段 RL 策略：

  1. 第一阶段：用 RLVR（可验证奖励）强化数学和代码推理能力，建立强大的推理基础
  2. 第二阶段：用人类偏好数据做 DPO/RLHF，对齐输出风格和安全性

这个策略的精妙之处在于：先把「会做题」和「会说话」分开训练，再组合。推理能力靠客观验证信号建立，对话能力靠人类偏好建立，两者互不干扰。

现代工程实践中，SFT → DPO → GRPO 这条三阶段流水线正在成为主流最佳实践：SFT 建立基础格式和知识，DPO 对齐偏好和安全，GRPO 强化推理能力。

八、对工程师的实操建议

面对一个实际项目，如何选择对齐方法？

场景 1：你有一个通用对话助手，需要提升安全性和礼貌度 → 推荐 DPO 或 SimPO。收集一些好/坏回答的配对数据（可以用规则自动生成部分负样本），用 DPO 微调。如果数据集不大、不方便配对，用 KTO 更省力。

场景 2：你的应用是数学辅导或代码助手，需要提升准确率 → 推荐 GRPO（RLVR 类方法）。利用题目验证器或代码执行器作为奖励信号，不需要人类标注。数据质量比数量重要，准备好题目-答案对即可。

场景 3：你用的是 API，完全无法微调模型 → 首先尝试 URIAL 风格的 prompt 工程：在系统 prompt 里放 2-3 个精心设计的对齐示例（覆盖你最担心的失效模式）。这可能比你想象的更有效。其次考虑对比解码或最优-N 采样（如果你有多次调用的预算）。

场景 4：你的应用需要长链推理（法律分析、医疗诊断） → 注意多轮错误累积问题。推荐在每隔几轮做一次「意图确认」（让模型总结它理解到的用户需求，请用户确认）。同时用 RLVR 强化推理能力，比只做偏好对齐更重要。

场景 5：你需要快速迭代，数据很少 → 用 SFT + 少量 DPO 数据。Constitutional AI 的思路也值得借鉴：写清楚你的「宪法」（产品原则），用 GPT-4 自动生成偏好数据，再 DPO 微调。

通用原则：

  • 先 SFT 建立基础格式，再做偏好对齐，顺序不要反
  • 监控奖励欺骗：如果模型的回答越来越长、越来越「讨好」但实质内容越来越空，说明它在奖励欺骗
  • 保留参考模型（KL 约束），防止对齐训练破坏基础能力

九、开放问题与未来方向

经过这么多年发展，对齐技术依然面临几个根本性的开放问题：

1. 对抗攻击的脆弱性

当前所有对齐方法对精心设计的对抗输入都很脆弱。越狱攻击、提示词注入、多语言绕过——研究者每提出一种防御，攻击者就找到新的绕过方式。这不是工程问题，而是根本性的理论问题：我们还不知道如何训练一个在「分布外」输入上也保持对齐的模型。

2. 奖励模型的可信度上限

RLHF 的质量上限由奖励模型决定，而奖励模型的质量上限由人类标注决定。人类标注者有偏见、有疲劳、有认知局限。Constitutional AI 和 RLAIF 试图用 AI 替代人类标注，但这又引入了新问题：AI 的判断标准从哪里来？ 最终还是要回到人类价值观的根本定义问题。

3. 多目标权衡的动态性

帮助性、无害性、诚实性的权衡不是固定的，它随着用户、文化、场景而变化。一个适合美国市场的对齐模型，在其他文化背景下可能过于冒进或过于保守。如何做到「个性化对齐」而不引入新的安全风险，是未解难题。

4. 对齐税（Alignment Tax）

对齐训练普遍存在「对齐税」现象：对齐之后，模型在某些能力基准测试上性能下降。这是因为对齐训练改变了模型的输出分布，可能压制了一些有用但不「安全」的能力。如何在对齐和能力之间找到更好的 Pareto 前沿，是重要的工程和理论挑战。

5. 不确定性量化被严重低估

当模型不确定时，它应该说「我不确定」。但现有对齐方法几乎没有系统性地解决这个问题——模型往往以同等的自信心给出确定的答案和猜测性的答案。这在高风险应用场景（医疗、法律）中是极大的隐患。

参考论文

  1. Reinforcement Learning for LLM Post-Training: A Survey arxiv: https://arxiv.org/abs/2407.16216 贡献：统一策略梯度框架（UPT），系统梳理 PPO/GRPO/DPO/RLVR

  2. Alignment and Safety in LLMs: Safety Mechanisms, Training Paradigms, and Emerging Challenges arxiv: https://arxiv.org/abs/2507.19672 贡献：对齐目标三元框架及 Pareto 权衡分析，安全威胁分类体系

  3. A Survey on Training-free Alignment of LLMs arxiv: https://arxiv.org/abs/2508.09016（EMNLP 2025 Findings） 贡献：首篇无训练对齐系统综述，Pre/In/Post-Decoding 三阶段分类框架

  4. A Survey of LLM Alignment: Instruction Understanding, Intention Reasoning, and Reliable Generation arxiv: https://arxiv.org/abs/2502.09101 贡献：三阶段流程视图（指令理解→意图推理→可靠生成），深层对齐挑战分析

← 返回文章列表