后训练-强化学习RL

2025-11-03

本文阐述了强化学习从对齐工具向推理能力放大器的范式转变。通过解构PPO至GRPO等无Critic算法的演进，揭示了群体博弈与可验证奖励（RLVR）如何激发长链推理（CoT）。结合AutoThink框架，RL正推动模型从“模仿人类”向“自主深度思考”跨越。

1. 从人类偏好对齐到系统性推理能力的觉醒

在人工智能的发展历程中，强化学习（Reinforcement Learning, RL）与大语言模型（Large Language Models, LLMs）的结合经历了两次根本性的范式转移。最初，RL仅仅被视为一种对齐（Alignment）工具，即通过基于人类反馈的强化学习（RLHF），将预训练模型海量的知识与人类的价值观、安全规范及指令遵循能力相对接。这一阶段的核心目标是让模型变得“有用、诚实且无害”（Helpful, Honest, Harmless - 3H）。然而，随着OpenAI o1系列和DeepSeek-R1等推理模型（Large Reasoning Models, LRMs）的横空出世，RL的角色发生了质的飞跃。

在这个新的后训练（Post-training）时代，RL不再仅仅是风格的过滤器，而是成为了能力的放大器。特别是在数学推导、代码生成和逻辑推理等具有确切真值（Ground Truth）的领域，基于可验证奖励的强化学习（RLVR）使得模型能够通过自我博弈和试错，涌现出类似人类思维的长链推理能力（Chain-of-Thought, CoT）。这种能力的提升并非源于灌输更多的知识，而是源于RL算法激励模型在推理空间中进行更深度的搜索、反思与自我修正。

我们将从RLHF的基石PPO算法出发，深入探讨DPO等离线方法的兴起，进而重点解构为大模型推理能力量身定制的无Critic（Critic-free）算法族群——包括GRPO、REINFORCE++、RLOO、ReMax，以及针对MoE架构优化的GSPO和针对长链推理优化的DAPO、PRIME等前沿方法。

2. 强化学习在LLM中的理论基石与早期范式

在深入探讨专门针对推理优化的现代算法之前，必须首先建立对经典RLHF方法的深刻理解。这不仅是因为它们是当前技术的源头，更因为现代算法中的许多创新（如KL散度约束、优势函数估计的简化）都是对早期范式中痛点的直接回应。

2.1 基于Critic架构的统治：PPO算法详解

近端策略优化（Proximal Policy Optimization, PPO）曾长期占据LLM对齐领域的统治地位。作为一种基于Actor-Critic架构的在线策略（On-policy）算法，PPO的核心设计哲学是在优化策略以最大化奖励的同时，通过限制策略更新的步长来保证训练的稳定性。

2.1.1 数学原理与目标函数

PPO的核心在于其目标函数的设计，该函数引入了一个裁剪（Clipping）机制，用于限制新策略 $\pi_\theta$ 与旧策略 $\pi_{\text{old}}$ 之间的差异。其优化目标定义为：

\[\mathcal{J}_{PPO}(\theta) = \mathbb{E}_{(x, y) \sim \mathcal{D}} \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right) \right]\]

在这个公式中，每一个符号都承载着精巧的设计考量：

重要性采样权重（Probability Ratio）: \(r_t(\theta) = \frac{\pi_\theta(y_t | x, y_{<t})}{\pi_{\text{old}}(y_t | x, y_{<t})}\)

它量化了在给定上下文的情况下，新策略生成当前Token的概率相对于旧策略的变化倍数。

$\hat{A}_t$：这是优势函数（Advantage Function）的估计值，通常使用广义优势估计（Generalized Advantage Estimation, GAE）来计算。$\hat{A}_t$ 衡量了动作 $y_t$ 相对于平均水平（由价值函数 $V(s)$ 预测）的优劣程度。若 $\hat{A}_t > 0$，说明当前动作优于预期，模型应增大其概率；若 $\hat{A}_t < 0$，说明当前动作劣于预期，模型应减小其概率。

$\text{clip}(1-\epsilon, 1+\epsilon)$：这是PPO的灵魂所在。$\epsilon$ 通常取值为0.1或0.2。这个裁剪操作定义了一个“信任域”（Trust Region），强制要求新旧策略的概率比率维持在 $[1-\epsilon, 1+\epsilon]$ 的区间内。这防止了单次更新步长过大导致策略崩溃（Policy Collapse），即防止模型因为一次偶然的高奖励而过度拟合到某个特定的轨迹上。

除了上述策略梯度的目标函数外，PPO的总损失函数通常还包含价值函数损失（Critic Loss）和熵正则项（Entropy Bonus）：

\[L(\theta) = -\mathcal{J}_{PPO}(\theta) + c_1 L_{VF}(\theta) - c_2 S[\pi_\theta](s)\]

其中，$L_{VF}$ 迫使Critic网络（价值模型）准确预测当前状态的预期累积奖励，而熵正则项 $S$ 则鼓励策略保持一定的随机性，防止过早收敛到局部最优。

2.1.2 PPO在大模型时代的局限性

尽管PPO在OpenAI的InstructGPT等早期工作中取得了巨大成功，但随着模型参数量的爆炸式增长（从7B->70B->671B），PPO的架构缺陷逐渐暴露无遗，成为了制约大模型推理能力扩展的瓶颈：

  1. 显存开销的不可承受之重：PPO训练流程需要同时在显存中维护四个模型：
    • Actor (Policy Model)：正在训练的模型。
    • Reference Model：冻结的原始SFT模型，用于计算KL散度以防止模型跑偏。
    • Critic (Value Model)：用于估计状态价值 $V(s)$。通常Critic的模型规模与Actor相当。
    • Reward Model：用于给生成的回答打分。 这种架构使得显存需求几乎是模型推理时的4倍以上。对于千亿参数的模型，这需要极其庞大的GPU集群支持。

  2. Critic的训练困境：在长链推理（Long CoT）任务中，推理链条可能长达数千个Token。PPO依赖Critic对每一个Token（或步骤）进行价值评估。然而，在数学证明或代码生成中，中间步骤的价值往往是极其模糊的——一个看似错误的中间步骤可能是迂回策略的一部分，而一个看似正确的步骤可能通向死胡同。要求Critic准确评估这些中间状态的价值（Credit Assignment Problem）极具挑战性，且Critic本身的训练也极易不稳定，导致优势估计 $\hat{A}_t$ 充满噪声。

  3. 计算复杂度：PPO涉及复杂的GAE计算和多次前向/反向传播，导致训练吞吐量远低于SFT。

2.2 离线偏好优化的兴起：DPO及其变体

为了解决PPO的复杂性和不稳定性，直接偏好优化（Direct Preference Optimization, DPO）应运而生，掀起了一场“去Critic化”的革命。

2.2.1 DPO：从奖励建模到直接优化

DPO的核心洞察是：最佳奖励函数与最佳策略之间存在解析映射关系。根据这一理论，我们可以直接通过优化策略来隐式地最大化奖励，而无需显式地训练一个奖励模型，也不需要Critic模型。

DPO的损失函数：

\[\mathcal{L}_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]\]

其中 $y_w$ 是胜出的回答（Winner），$y_l$ 是失败的回答（Loser）。DPO直接拉大胜者与败者之间隐含奖励（对数概率比）的差距。

DPO的局限性： 尽管DPO极大地简化了RLHF流程并被广泛应用（如Llama3, Qwen2.5的对齐），但在推理能力的提升上，它存在先天不足。DPO本质上是一种离线算法，它依赖于预先收集的偏好数据对 $(y_w, y_l)$。这意味着模型只能学习数据集中已有的推理模式，而无法像在线RL（Online RL）那样通过探索（Exploration）发现数据集中不存在的新颖解题路径。对于需要顿悟（Aha Moment）和深度搜索的推理任务，DPO往往只能做“表面文章”，难以实现真正的能力突破。

2.2.2 SimPO：简化与长度归一化

SimPO（Simple Preference Optimization）是DPO的一个重要变体，旨在解决DPO中奖励与生成指标不一致的问题，并进一步简化流程。DPO使用参考模型 $\pi_{ref}$ 的概率比值作为隐式奖励，这在实际操作中可能导致数值不稳定，且需要始终在显存中加载参考模型。

SimPO 提出将奖励直接定义为长度归一化后的对数概率：

\[r_{SimPO}(x, y) = \frac{\beta}{|y|} \log \pi_\theta(y|x)\]

其损失函数引入了一个边界项 $\gamma$：

\[\mathcal{L}_{SimPO}(\theta) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \frac{\beta}{|y_w|} \log \pi_\theta(y_w|x) - \frac{\beta}{|y_l|} \log \pi_\theta(y_l|x) - \gamma \right) \right]\]

SimPO不仅移除了对参考模型的依赖（更加省显存），而且通过长度归一化隐式地惩罚了冗长而无实质内容的输出，这对于控制推理模型的“过度思考”现象具有重要意义。

3. Critic-Free算法家族：向推理能力的迈进

随着关注点从“对齐”转向“推理”，研究界开始探索如何在保留在线RL探索能力的同时，移除笨重的Critic模型。这一探索催生了一系列Critic-Free算法，它们构成了DeepSeek-R1等现代推理模型的技术基础。

3.1 经典回归：REINFORCE++

在PPO之前，最基础的策略梯度算法是REINFORCE。它虽然简单，但因方差极大而难以训练。REINFORCE++ 重新审视了这一经典算法，并通过现代化的工程技巧使其焕发新生，甚至在某些场景下超越了PPO。

核心创新：全局优势归一化（Global Advantage Normalization）

传统的REINFORCE或简单的变体（如RLOO）通常在Prompt级别（局部）进行优势归一化。即对于同一个Prompt生成的K个回答，计算它们的均值和方差进行标准化。REINFORCE++指出，这种局部归一化是有偏的，且容易导致过拟合。

REINFORCE++ 引入了全局视角：

\[A_{\text{normalized}} = \frac{A - \mu_{\text{batch}}}{\sigma_{\text{batch}}}\]

它利用整个训练Batch（通常包含数千个样本）的统计量来归一化优势函数。由于大Batch的统计量更加稳定，这极大地降低了梯度的方差。

算法特性：

1.Token级KL惩罚：

\[r(s_t, a_t) = R(x, y) \cdot \mathbb{I}(t=T) - \beta \log \frac{\pi_\theta(a_t|s_t)}{\pi_{ref}(a_t|s_t)}\]

将KL散度作为逐Token的即时惩罚，而非仅在序列末尾结算。

2.PPO式裁剪：虽然去掉了Critic，REINFORCE++依然保留了PPO的裁剪机制（Clipping），限制策略更新幅度。

3.效率：无需Critic模型，计算量和显存占用大幅降低。

3.2 RLOO：留一法基线（Leave-One-Out）

RLOO（REINFORCE Leave-One-Out）是另一种试图在不引入Critic的情况下降低方差的方法。针对同一个Prompt $x$，模型采样 $K$ 个回答 ${y_1,…, y_K}$。

对于第 $i$ 个回答 $y_i$，RLOO不使用Critic来估计基线（Baseline），而是使用其余 $K-1$ 个回答的平均奖励作为基线：

\[b(x, y_i) = \frac{1}{K-1} \sum_{j \neq i} R(x, y_j)\]

优势函数计算为：

\[\hat{A}_i = R(x, y_i) - b(x, y_i)\]

解析： 这种方法的直觉非常直接——如果一个回答的得分高于该模型针对同一问题生成的其他回答的平均水平，那么它就是一个“好”的回答，应该被鼓励。RLOO在数学上被证明是无偏的，且比单纯的REINFORCE方差更小。它特别适合于Reward获取成本较低的场景（如基于规则的数学题判分）。

3.3 ReMax：贪婪策略作为基线

ReMax提出了一种更极致的简化思路。它认为Critic的作用仅仅是提供一个“模型当前能力”的参考锚点。最能代表模型当前能力的，不是一个黑盒神经网络（Critic），而是模型自身的贪婪解码（Greedy Decoding）结果。

公式原理： 对于每个Prompt $x$，ReMax生成两个轨迹：

1.采样轨迹（带有随机性，用于探索）。 \(y \sim \pi_\theta(\cdot|x)\)

2.贪婪轨迹（确定性，代表当前最佳水平）。 \(\hat{y}_{greedy} = \text{argmax} \pi_\theta(\cdot|x)\)

优势函数定义为： \(\hat{A}(x, y) = R(x, y) - R(x, \hat{y}_{greedy})\)

洞察： 如果采样得到的随机探索路径 $y$ 比模型默认的贪婪路径 $\hat{y}_{greedy}$ 得分更高，说明这是一次成功的探索，应当给予正向更新。反之则惩罚。ReMax极其简单，无需训练额外模型，但在处理具有高度多模态分布的复杂推理任务时，单一的贪婪基线可能不够鲁棒。

4. 群体相对策略优化（GRPO）

如果说PPO是RLHF时代的引擎，那么DeepSeek提出的群体相对策略优化（Group Relative Policy Optimization, GRPO）无疑是开启大模型推理时代（LRM Era）的关键钥匙。DeepSeek-R1及其前身DeepSeek-Math正是依靠GRPO实现了令人惊叹的推理能力飞跃。

4.1 GRPO的核心机制与数学公式

GRPO彻底抛弃了Critic模型，转而拥抱“群体博弈”的思想。它不再试图估计一个绝对的“状态价值”，而是关注同一个问题下不同回答之间的相对优劣。

算法流程：

群体采样（Group Sampling）：对于每个Prompt $x$（通常来源于数学或代码题目），从旧策略 $\pi_{\theta_{old}}$ 中采样一组 $G$ 个输出 ${y_1, y_2,…, y_G}$。

奖励计算：对每个输出计算奖励 $r_1,…, r_G$。这些奖励通常是二值的（正确/错误）或基于规则的评分。

优势估计（Group-based Advantage）：利用组内的统计量来标准化奖励，作为优势函数的估计：

\[\hat{A}_{i} = \frac{r_i - \text{mean}(\{r_j\}_{j=1}^G)}{\text{std}(\{r_j\}_{j=1}^G)}\]

策略更新：最大化以下目标函数：

\[\mathcal{J}_{GRPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\} \sim \pi_{old}} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \left( \min \left( w_{i,t}(\theta) \hat{A}_i, \text{clip}(w_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) - \beta D_{KL}(\pi_\theta || \pi_{ref}) \right) \right]\]

其中，重要性采样权重为：

\[w_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{old}(y_{i,t} | x, y_{i,<t})}\]

4.2 GRPO相对于PPO的关键变革

特性 PPO (传统RLHF) GRPO 优势/洞察
Critic模型 必需 (参数量巨大) 移除 显存节省约50%，训练吞吐量大幅提升，消除了Critic训练不稳定的瓶颈。
优势基线 价值函数 $V(s)$ 预测 群体均值 利用同组采样的相对排序，对于稀疏奖励（如仅有最终答案正确与否）更加鲁棒。
KL散度 通常融入奖励 $R = r - \beta KL$ 作为损失项独立计算 将奖励信号与正则化信号解耦。GRPO的优势 $\hat{A}$ 纯粹反映任务表现，KL项单独负责防止模型跑偏。
适用场景 通用对话、风格对齐 推理、逻辑、代码 特别适合有明确Ground Truth、可进行大规模采样的场景。

4.3 为什么GRPO能激发“顿悟”？

DeepSeek-R1的论文中提到了一个迷人的现象：在纯RL训练（R1-Zero）过程中，模型自发涌现出了自我反思、长链推导等行为，甚至出现了“Wait, let me rethink…”（等等，让我重新思考一下……）这样的语言模式。这在SFT阶段是未曾显式教导的。

GRPO在其中扮演了关键角色：

  • 探索的激励：通过基于群体的相对优势，只要一个回答比同组的其他回答稍好（例如多推导了一步，或者格式更清晰），它就会获得正向的梯度信号。这形成了一个动态提升的基线，不断迫使模型寻找更优解。
  • 解耦的奖励：由于移除了Critic，算法不再受限于Critic对复杂中间状态的错误估值（Critic难以判断一句“Wait”到底好不好）。只要最终结果正确，过程中的任何尝试（包括自我质疑）都有可能被强化，前提是这种行为在统计上提高了最终正确率。

5. 序列级优化与MoE架构的挑战：GSPO与DAPO

随着模型架构向混合专家（Mixture-of-Experts, MoE）演进，以及对长链推理稳定性要求的提高，GRPO在Token级别的优化方式开始显露疲态。

5.1 GSPO：群组序列策略优化

由Qwen团队提出的GSPO（Group Sequence Policy Optimization）是对GRPO的一次重要修正，旨在解决MoE模型训练中的稳定性问题。

问题背景： 在GRPO中，重要性采样权重 $w_{i,t}$ 是针对每个Token独立计算的。这意味着在一个长序列中，某些Token的更新幅度可能极大，而另一些极小。对于MoE模型，这种Token级的剧烈波动会导致专家路由（Routing）的漂移，使得专家负载不均衡，最终导致模型坍塌。

GSPO的核心公式： GSPO将优化粒度从Token提升到了序列（Sequence）级别。它定义了一个序列级的重要性比率 $s_i(\theta)$：

\[s_i(\theta) = \left( \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^{\frac{1}{|y_i|}}\]

这个比率是整个序列概率比值的几何平均数。优化目标变为：

\[\mathcal{J}_{GSPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \right]\]

关键洞察：

  • 一致性：推理任务的奖励（如答案正确）通常是针对整个序列的。GSPO强制整个序列的所有Token共享同一个更新幅度，这与奖励的粒度更加匹配。
  • 稳定性：序列级比率 $s_i(\theta)$ 的方差远小于Token级比率 $w_{i,t}$，这极大地稳定了MoE模型的梯度更新，防止了专家路由的震荡。Qwen3的推理模型训练正是得益于此算法。

5.2 DAPO：解耦裁剪与动态采样

字节跳动提出的DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）解决了群组方法中的另一个隐蔽缺陷：梯度消失问题。

问题背景： 在GRPO中，如果一个Prompt生成的 $G$ 个回答全对（Rewards全是1）或全错（Rewards全是0），标准差 $\text{std}$ 就会趋近于0（或极小值 $\epsilon$）。此时，归一化后的优势 $\hat{A}_i$ 也会趋近于0或无意义，导致这一批数据无法提供有效的学习信号。

DAPO的解决方案：

  1. 动态采样（Dynamic Sampling）：在训练过程中，如果发现某一组采样的方差为0（即模型对该问题已经“完全掌握”或“完全不会”），DAPO会直接丢弃该Batch或强制重新采样，直到获得具有方差的样本组。这确保了计算资源始终集中在模型“能力边界”上的难题，而非浪费在简单题或不可解题上。
  2. 解耦裁剪（Decoupled Clipping / Clip-Higher）：DAPO观察到，对于推理任务，我们需要鼓励模型探索那些极其偶然的高分路径。因此，它采用不对称的裁剪策略，设置 $\epsilon_{high} > \epsilon_{low}$。这意味着允许策略在正向优势（好结果）方向上更新得更激进，而在负向优势方向上保持保守。

5.3 CISPO：应对离线数据的挑战

CISPO（Clipped IS-weight Policy Optimization）主要针对策略与采样分布差异极大的场景。在实际大规模训练中，采样数据的模型版本往往落后于当前训练模型（Off-policy）。CISPO通过截断重要性采样（Truncated Importance Sampling）和修正的损失函数，使得在KL散度较大的情况下也能稳定训练，这对于利用历史回放数据（Experience Replay）极为重要。

6. 奖励设计的艺术：从结果到过程

算法只是引擎，奖励才是燃料。大模型推理能力的提升，在很大程度上取决于我们如何设计奖励函数。

6.1 可验证奖励（RLVR）

这是DeepSeek-R1和OpenAI o1成功的基石。

  • 数学领域：奖励函数非常明确——提取答案（如 \boxed{answer}），与标准答案进行符号匹配。这消除了人工标注的模糊性。
  • 代码领域：利用单元测试（Unit Tests）作为奖励。通过编译器和测试用例，我们可以获得确定的反馈。
  • 格式奖励：为了强制模型输出思考过程，通常会加入硬性的格式奖励，例如：如果输出包含 <think>...</think> 标签，给予正向奖励。DeepSeek-R1正是通过这种方式，“逼”出了模型的思考过程。

6.2 过程奖励（Process Rewards）：从稀疏反馈到稠密监督

在复杂的长链条推理（Long-chain Reasoning）任务中，仅仅依靠最终结果（Outcome-supervised Reward Models, ORM）提供的反馈往往过于稀疏且存在滞后性。ORM面临根本性的“信用分配问题”（Credit Assignment Problem）——即无法区分通过错误逻辑侥幸得出的正确答案（False Positive），也难以定位导致最终错误的具体步骤。此外，ORM还容易引发奖励欺骗（Reward Hacking），导致模型学习到虚假的关联。

为了解决上述问题，过程监督旨在将稀疏的反馈转化为稠密信号（Dense Reward），主要分为显式建模和隐式推导两个方向：

1. PRM (Process Reward Model)：显式的逐步验证

PRM的核心在于对推理过程中的每一个中间步骤进行评估，估计其正确性概率 $P(s_t \text{ is correct} | x, s_{1:t-1})$。

  • 核心机制：
    • 细粒度标注：不同于简单的对错，PRM的数据集（如PRM800K）通常包含正面（有效推进）、负面（逻辑/幻觉错误）和中性（无功无过）三种标签，以更精准地引导模型。
    • 主动学习（Active Learning）：为了提升训练效率，重点针对“令人信服的错误”（Convincing Wrong-Answer）进行采样和标注，即模型自信但实际错误的困难负样本。
  • 关键作用：
    • 精准纠错：能够精确定位逻辑断裂点，阻断错误累积。
    • 赋能搜索（Search）：PRM是实现测试时计算（Test-time Compute）的关键基础设施。它作为价值函数（Value Function）引导MCTS或Best-of-N搜索，在推理阶段进行剪枝和路径优先级排序，是复现OpenAI o1推理能力的核心技术。
  • 挑战：极其昂贵的领域专家（如数学博士）标注成本，以及步骤定义在非数学领域（如代码、创意写作）的模糊性。

2. 隐式过程奖励：PRIME 与 GRPO-RoC

鉴于显式PRM的高昂成本，通过结果反推过程质量的“隐式”方法成为了热门研究方向。

  • PRIME (Process Reinforcement through Implicit Rewards)：
    • 原理：基于一个核心洞察——一个状态的价值（Value）本质上就是它能通向正确结果的概率。PRIME利用一个仅在结果标签上训练的模型，隐式地推导出中间Token的价值，从而实现了密集奖励的效果，填补了稀疏结果奖励与昂贵过程监督之间的空白。
  • GRPO-RoC (rStar2-Agent/Microsoft)：
    • 场景：针对代码生成和Agent工具使用场景，显式标注极其困难且存在环境噪声（非致命报错）。
    • 原理：采用基于质量过滤的重采样（Resample-On-Correct）策略。通过启发式规则筛选出“答案正确且轨迹简洁（无冗余步骤、无报错）”的高质量样本作为正例，利用GRPO算法进行优化。这实际上是一种无需标注的过程监督，通过结果的正确性和过程的规范性来隐式地优化推理逻辑。

7. 自适应推理：AutoThink框架

AutoThink 是一种创新的强化学习框架，旨在解决大型推理模型（LRMs）中常见的过度思考（Overthinking）问题，即模型在回答简单问题时也产生大量冗余的推理步骤。

该框架的核心思想是利用简单的省略号提示词（Ellipsis Prompt）触发模型的双模态（Thinking/No-Thinking）潜能，并通过三阶段的奖励重塑（Reward Shaping）机制，训练模型根据问题的复杂度自适应地分配推理算力（Test-time Compute）。

以下是 AutoThink 框架的详细数学原理与训练流程解析：

7.1 核心机制：省略号提示词与 GRPO 基座

省略号提示词 (Ellipsis Prompt)

AutoThink 发现了一个令人惊讶的现象：在 R1 类模型（如 DeepSeek-R1）中，只需将提示词修改为极简形式 <think>\n...\n，即可作为“开放信号”，随机触发模型进入“思考模式”（生成详细推理步骤）或“不思考模式”（直接给出答案）。这种随机性为后续的策略学习提供了探索空间。

基础优化算法：GRPO

AutoThink 采用群组相对策略优化（Group Relative Policy Optimization, GRPO）作为底层 RL 算法。其目标函数如下：

\[\mathcal{J}_{GRPO}(\theta)=\mathbb{E}_{(q,a)\sim\mathcal{D},\{o_{i}\}_{i=1}^{G}\sim\pi_{\theta_{old}}(\cdot|q)} \left[\frac{1}{\sum_{i=1}^{G}|o_{i}|}\sum_{i=1}^{G}\sum_{t=1}^{|o_{i}|}\min\left(r_{i,t}(\theta)\hat{A}_{i,t}, \text{clip}(r_{i,t}(\theta),1-\epsilon,1+\epsilon)\hat{A}_{i,t}\right)\right]\]
  • $q$: 查询（Query）。
  • $G$: 每个查询采样的输出组数。
  • $o_i$: 第 $i$ 个采样输出。
  • $r_{i,t}(\theta)$: 新旧策略概率的比率（Importance Weight）。
  • $\hat{A}_{i,t}$: 优势函数估计值（Advantage）。

7.2 多阶段强化学习框架详解

AutoThink 将训练过程分为三个阶段，通过逐步进化的奖励函数设计，引导模型从“随机选择”进化为“自适应选择”。

Stage 1: 稳定双模态 (Stabilize Dual Modes)

目标：防止模式坍塌（Mode Collapse）。 在初始阶段，如果直接训练，模型倾向于坍塌到单一模式（例如：为了短期高回报而总是选择不思考，或总是思考）。本阶段通过Batch 级奖励平衡来强行维持两种模式的共存。

1. 朴素奖励定义 (Naive Reward) 首先定义基础奖励 $r_{i}^{naive}$，鼓励“不思考且正确”（最高效）的行为 ：

设 $think_i \in {0,1}$ 为是否思考的指示变量，$correct_i \in {0,1}$ 为是否正确的指示变量。

\[r_{i}^{naive}=\begin{cases} +1, & \text{if } think_{i}=1 \wedge correct_{i}=1 \\ 0, & \text{if } think_{i}=1 \wedge correct_{i}=0 \\ +2, & \text{if } think_{i}=0 \wedge correct_{i}=1 \quad (\text{高效奖励}) \\ -1, & \text{if } think_{i}=0 \wedge correct_{i}=0 \quad (\text{错误惩罚}) \end{cases}\]

2. 动态平衡惩罚 (Batch-level Balancing) 引入变量 $z \in [0,1]$ 表示当前 Batch 中“思考模式”的占比。设定目标比例 $\gamma$（如 0.5）和惩罚斜率 $\lambda$。

计算软惩罚因子 $\delta$：

  • 思考模式的惩罚：$\delta_{think} = \min(1, \max(0, (z-\gamma) \cdot \lambda))$
  • 不思考模式的惩罚：$\delta_{nothink} = \min(1, \max(0, (1-z-\gamma) \cdot \lambda))$

3. 调整后的奖励 (Adjusted Reward) 最终奖励 $r_{i}^{adj}$ 会根据当前 Batch 中哪种模式“过多”而降低该模式的奖励，迫使模型探索另一种模式：

\[r_{i}^{adj}=\begin{cases} (1-\delta_{think})\cdot r_{i}^{naive}, & \text{if } think_{i}=1 \wedge correct_{i}=1 \\ (1-\delta_{think})\cdot r_{i}^{naive} + \delta_{think}\cdot(-1), & \text{if } think_{i}=1 \wedge correct_{i}=0 \\ (1-\delta_{nothink})\cdot r_{i}^{naive}, & \text{if } think_{i}=0 \wedge correct_{i}=1 \\ (1-\delta_{nothink})\cdot r_{i}^{naive} + \delta_{nothink}\cdot(-2), & \text{if } think_{i}=0 \wedge correct_{i}=0 \end{cases}\]

Stage 2: 强化正确行为 (Reinforce Correct Behavior)

目标：提升两种模式下的推理可靠性。 在 Stage 1 建立了稳定的双模态分布后，Stage 2 移除强制平衡约束，允许策略自由演化，专注于提高回答的准确率。

奖励函数： 回归到朴素奖励定义：

\[r_{i}^{adj} = r_{i}^{naive}\]

在此阶段，通常会增加训练的上下文长度预算（Context Budget），允许模型在需要时进行更深度的推理。

Stage 3: 剪枝冗余推理 (Prune Redundant Reasoning)

目标：基于长度的奖励重塑，实现真正的自适应（Easy $\to$ Fast, Hard $\to$ Slow）。

这是 AutoThink 的核心差异化阶段。引入长度感知（Length-Aware）奖励，惩罚冗余的思考，鼓励在错误时进行更深入的反思。

1. 标准化长度 (Standardized Length) 计算第 $i$ 个输出的标准化长度 $y_i$：

\[y_{i}=\frac{L_{i}-\mu_{q}}{\sigma_{q}}\]

其中 $L_i$ 是响应长度，$\mu_q$ 和 $\sigma_q$ 是该查询组内响应长度的均值和标准差。

2. 长度感知奖励函数 引入超参数 $\alpha$ 和 $\beta$ 来控制整形敏感度。调整后的奖励如下：

\[r_{i}^{adj}=\begin{cases} r_{i}^{naive} + (-1 + e^{-\alpha y_{i}}), & \text{if } correct_{i}=1 \\ r_{i}^{naive} + (1 - e^{-\beta y_{i}}), & \text{if } correct_{i}=0 \end{cases}\]
  • 对于正确回答 ($correct=1$)：使用 $(-1 + e^{-\alpha y_{i}})$ 项。
    • 当长度 $y_i$ 变大（变长），$e^{-\alpha y_i}$ 变小，奖励项趋向于 -1（惩罚）。
    • 效果：鼓励模型用更短的路径解决问题（Conciseness）。
  • 对于错误回答 ($correct=0$)：使用 $(1 - e^{-\beta y_{i}})$ 项。
    • 当长度 $y_i$ 变大（变长），$e^{-\beta y_i}$ 变小，奖励项趋向于 +1（补偿）。
    • 效果：如果模型答错了，但进行了长距离思考，给予一定宽容；反之，如果“秒答且错”（Lazy failure），则得不到补偿。这鼓励模型在遇到困难时不要轻易放弃思考 。

7.3 AutoThink 的演进逻辑与成效

阶段 核心任务 奖励机制特征 预期行为结果
Stage 1 稳定化 Batch 级动态平衡 ($\gamma, \lambda$) 模型学会既能“思考”，也能“不思考”，不偏科。
Stage 2 强化 纯粹的正确性奖励 ($r^{naive}$) 模型在两种模式下的解题准确率都大幅提升。
Stage 3 剪枝 长度感知奖励 ($\alpha, \beta$) 自适应涌现：简单题自动切换为短回复（不思考），难题保留长推理。

8. 总结与展望

大模型强化学习已经完成了一次华丽的转身。

  • 从目标上看：从“像人说话”（Alignment）转变为“超越人类思考”（Reasoning）。
  • 从算法上看：从重型Critic的PPO，演进为轻量级、群组博弈的GRPO，再到针对特定架构优化的GSPO和DAPO。
  • 从数据上看：从依赖昂贵的人类标注（RLHF），转向依赖廉价且无限的可验证计算环境（RLVR）。