HotPursuit

URIAL 深度解读：用3个例子替代微调的对齐革命

RL Paper Reading入库于 2026/6/4|
RL论文阅读AlignmentIn-Context LearningLLM后训练

URIAL 深度解读：用3个例子替代微调的对齐革命

来源、性质与阅读难度

论文来源：《The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning》

论文性质：LLM Alignment / In-Context Learning 方向

  • 研究类型：方法创新 + 思想颠覆型
  • 核心贡献：提出 ICL Alignment（上下文对齐），挑战"对齐必须依赖训练"的传统共识
  • 与 RL 的关系：属于 Pre-Decoding Alignment，是与 RLHF/DPO 对立的对齐路线，为理解"训练 vs 提示"的对齐之争提供关键视角

阅读难度：★★☆☆☆

  • 前置知识：了解 Base Model vs Chat Model 的区别，了解 SFT/RLHF 基本概念，了解 In-Context Learning（ICL）
  • 友好程度：思想清晰、实验直观，非数学密集型论文，适合作为 Alignment 领域入门读物

预计阅读时间：约 20 分钟

一句话总结

这篇论文本质上是在解决这样一个问题：Alignment 到底是能力问题还是风格问题？如果只是风格，能不能用几个示例直接搞定？

背景知识

什么是"对齐"？

你和一个大语言模型对话，希望它：

  • 回答你的问题，而不是乱说
  • 拒绝危险请求，而不是什么都配合
  • 说话有条理，像一个真正的助手

这整套让模型"表现得像助手"的过程，就叫 Alignment（对齐）。

传统对齐流程是什么样的？

Base Model（原始模型）
    ↓
SFT（监督微调，教模型怎么回答）
    ↓
RLHF / DPO（强化学习，教模型哪种回答更好）
    ↓
Chat Model（可以对话的助手模型）

举个例子：

  • Llama-3 Base → Llama-3 Instruct
  • Qwen Base → Qwen Chat

大家一直默认："模型能好好回答问题"这个能力来自训练。

这篇论文在质疑什么？

URIAL 的作者提出了一个大胆假设：

能力本来就在 Base Model 里，Alignment 训练更多是在教模型「如何表现」，而不是「学会了什么」。

简单说：模型已经很聪明了，只是不知道"怎么跟你说话"。SFT/RLHF 教的主要是语气、格式、拒答方式，而不是知识本身。

为什么会出现这篇论文

技术演进路线

预训练语言模型（GPT-2）
    ↓
GPT-3 出现，ICL（上下文学习）大爆发
    ↓
InstructGPT：SFT + RLHF 对齐
    ↓
ChatGPT 发布，业界默认"对齐 = 训练"
    ↓
2023年：DPO、RLAIF 等新对齐方法涌现
    ↓
URIAL（2023.12）：质疑"对齐需要训练"的根本假设

行业背景

2023年前后，业界有一个普遍共识：

  • Base Model 是"原材料"，不能直接用
  • Chat Model = Base Model + 大量对齐训练
  • 没有 SFT/RLHF，模型就不能好好对话

URIAL 的作者做了一个关键实验：比较 Llama Base 和 Llama Chat 在生成每个 token 时的概率分布。

发现非常惊人：大多数位置，两个模型预测的 Top Token 是一样的。差异主要集中在"风格 token"上：

Certainly,
Sure,
I'd be happy to help,
I cannot assist with that,

这说明：对齐训练主要改变了模型的"说话方式"，而不是底层知识。

那么问题来了：如果只是风格，能不能直接用 Prompt 激活？

论文试图解决的问题

问题1：对齐成本极高

  • SFT 需要大量高质量标注数据
  • RLHF 需要人工偏好标注 + 奖励模型训练
  • 整个流程耗时耗力，普通研究者难以复现

问题2：对齐训练破坏原始能力

  • 有研究发现，对齐训练会降低模型在某些任务上的表现
  • 过度 RLHF 会导致"过拟合助手风格"，模型变得谄媚

问题3：对齐的本质没被搞清楚

  • 大家知道 RLHF 有效，但不理解为什么有效
  • "对齐 = 能力提升"还是"对齐 = 风格学习"？这个问题没有被严肃回答过

核心创新

创新点：URIAL（Untuned LLMs with Restyled In-context Alignment）

作者做了什么： 设计了一套极简的 ICL 模板：3个高质量示例 + 系统提示词，直接 Prompt Base Model，使其表现出类似 Chat Model 的对话风格。

直觉理解（生活例子）： 想象你刚进入一家新公司，完全不懂公司的邮件风格。你的上司给你看了3封写得很好的邮件，说"参考这个写"——你立刻就能模仿出正确的格式和语气。

URIAL 就是这个道理：Base Model 已经"很聪明"了，它只是不知道该怎么"跟你说话"。给它3个例子，它就知道了。

为什么有效： Base Model 在预训练时见过海量对话数据（各种问答、教程、论坛），已经具备回答问题的能力。它缺少的只是"在当前上下文中，我应该扮演助手"这个信号。3个示例提供了这个信号。

对比旧方案：

维度传统 SFT/RLHFURIAL
训练成本极高（数据 + 计算）零
需要数据量数万条标注3个示例
修改参数是否
可解释性弱强（示例可检查）
对齐效果强接近（某些任务）
可定制性重新训练才能改换示例即可

如果没有这个创新会怎样：

  • 业界会继续默认"对齐必须训练"，浪费大量资源
  • 小团队/个人研究者无法低成本地对齐模型
  • "Alignment 本质"这个问题会继续被忽视

算法流程

Step 1: 准备3个高质量 ICL 示例
         选择覆盖不同场景的对话（知识问答、写作、指令跟随）
         确保 Assistant 回答风格清晰、有结构

Step 2: 构建 Prompt 模板
         System: You are a helpful AI assistant.
         [示例1：User + Assistant]
         [示例2：User + Assistant]
         [示例3：User + Assistant]
         User: {实际问题}
         Assistant:

Step 3: 输入 Base Model 进行推理
         完全不训练参数
         直接让 Base Model 根据上下文生成回答

Step 4: 模型生成 Assistant 风格的回答
         因为上下文明确了"我应该扮演助手"的角色
         Base Model 会自然模仿示例的格式和风格

数据流动：用户问题 → 拼接到3-shot模板末尾 → Base Model 前向推理 → 输出

关键公式（无重型数学）

URIAL 没有复杂公式，但有一个核心发现可以用数学语言表达：

Token 分布差异集中于风格 token

P_base(t) ≈ P_chat(t)，对于大多数内容 token t
P_base(t) << P_chat(t)，对于风格 token（如 "Certainly", "I'd be happy to"）

这个观察是整篇论文的理论基础：如果差异只在风格 token，那 Prompt 就能搞定。

实验说明了什么

作者想证明：3-shot ICL 可以媲美 SFT/RLHF 对齐效果

实验设计：

  • 用 Just-Eval 等基准测试，对比 URIAL + Base Model vs 各种 Chat Model
  • 覆盖知识问答、写作、安全拒答等多维度

结论：

  • URIAL 在多数安全性和有用性指标上接近甚至超过部分 SFT 模型
  • 在"安全拒答"方面，URIAL 表现出与 RLHF 模型类似的能力
  • 提升主要来自：示例提供了强烈的"角色"信号，激活了 Base Model 潜在能力

局限：

  • 在复杂推理、长指令跟随上仍不及精调模型
  • 效果依赖于示例质量，示例选择有讲究

现实应用情况

直接应用：目前没有主流大厂公开宣称直接使用 URIAL 作为对齐方案。

间接影响非常深远：

  • System Prompt 设计：Claude、GPT 等的 System Prompt 工程大量借鉴了 Pre-Decoding Alignment 思想
  • Prompt Engineering 兴起：URIAL 提供了理论支撑，说明 Prompt 可以做部分"训练"的工作
  • 低资源对齐：小团队、垂直领域 Agent 广泛使用类似方法（few-shot + persona prompt）
  • Constitutional AI（Anthropic）：也属于 Pre-Decoding / Prompt-based 对齐路线

对 Agent 的意义

Pre-Decoding Alignment 是 Agent 的核心工具

Agent 系统里最常用的对齐方式就是 Pre-Decoding：

System Prompt（角色定义 + 规则）
+
ICL Example（工具使用示例 / 推理格式示例）
+
Task Description

→ Agent 生成符合期望的行为

具体关联：

Agent 方向URIAL 的影响
ReAct / Tool Use用 few-shot 示例教模型如何调用工具、格式化思考
SWE-AgentSystem Prompt + 示例定义了 Agent 的代码编辑行为规范
Deep Research示例告诉 Agent 如何分解任务、何时停止搜索
Multi-Agent每个 Agent 的角色通过 System Prompt + 示例定义
Claude Code整个运行时对齐依赖 CLAUDE.md + 示例，而非额外训练

核心启示：Agent 开发者不需要总是想着"训练一个专用模型"，精心设计的 Prompt + 示例往往能达到 80% 的效果，成本却是训练的 1%。

与 LLM 后训练的关系

URIAL 和 RLHF/SFT 构成了对齐方法的两极：

训练时对齐（SFT + RLHF/DPO）
    vs
推理时对齐（URIAL / System Prompt / Constitutional Prompting）

现代 LLM 系统通常是两者结合：

  • 训练时：RLHF 确保模型"大方向"正确（安全性、有用性）
  • 推理时：System Prompt + ICL 处理具体场景的定制化对齐

URIAL 最重要的贡献是解放了推理时对齐，让从业者意识到 Prompt 层面的对齐有多强大。

对初学者最值得学什么

Top 1：区分"能力"和"风格" URIAL 教会我们，模型的知识能力和表达风格是可以分离的。预训练给了模型能力，对齐只是在塑造风格。这个认知对理解所有后训练工作都至关重要。

Top 2：Context 是临时参数 Prompt = Temporary Fine-tuning。这个视角让你理解为什么 System Prompt 的设计如此重要，为什么 few-shot 示例质量比数量更重要。

Top 3：质疑默认假设 URIAL 最大的贡献是敢于问"训练真的必要吗？"。在做任何工程优化时，都应该问：这个复杂步骤真的解决了根本问题，还是只是惯例？

论文局限性

  • 效果天花板：在需要精确指令跟随、复杂推理的任务上，ICL 对齐仍不如精调模型
  • 示例依赖：效果高度依赖少量示例的质量，如何自动化选取好示例是未解决问题
  • 安全性：针对对抗攻击的鲁棒性比 RLHF 模型弱，容易被绕过
  • 可扩展性：对于非常复杂的任务（如代码生成、多轮推理），3个示例远不够
  • 实用落地：现实中 Base Model 的 tokenizer 和 Chat Model 不一定相同，有些 Base Model 对对话格式不友好

技术演进图谱

RLHF（InstructGPT）
        |
        |← 质疑"RLHF是否过重"
        |
    DPO（简化RLHF）           Constitutional AI（Anthropic）
        |                              |
        |                             ↓
        |                   Pre-Decoding Alignment
        |                              |
        ↓                             ↓
   SFT Alignment ←→→→→→→→→ URIAL（ICL Alignment）← [本论文]
                                       |
                                       ↓
                              Prompt Engineering 体系化
                              （DSPy / ReAct / ReWOO 等）
                                       |
                                       ↓
                            Agent System Prompt 工程

笔记生成时间：2026-06-04 论文原文：https://arxiv.org/abs/2312.01552

← 返回文章列表