Reinforcement Learning

自动关联目录:Reinforcement Learning

强化学习研究的是:一个智能体如何通过与环境交互,学会最大化累积奖励。

与监督学习的关键区别:

监督学习强化学习
监督信号明确的正确答案稀疏的、延迟的奖励
数据静态数据集策略自己产生的数据(分布会变)
目标拟合最大化长期回报

这个自举(bootstrap)结构既是 RL 的力量所在,也是它不稳定的根源。

MDP 框架

马尔可夫决策过程:M=(S,A,P,R,γ)\mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma)

符号含义
S\mathcal{S}状态空间
A\mathcal{A}动作空间
$P(s's,a)$
R(s,a)R(s,a)奖励函数
γ∈[0,1)\gamma \in [0,1)折扣因子

马尔可夫性:未来只依赖当前状态,不依赖历史。

目标

最大化折扣累积回报:

Gt=∑k=0∞γkrt+k+1G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}

折扣因子γ\gamma 的意义:

  • 越接近 1 越"有远见"
  • 数学上保证无穷和收敛
  • 也建模了"未来的不确定性"

价值函数

状态价值(在策略π\pi 下,从状态ss 出发的期望回报):

Vπ(s)=Eπ[Gt∣st=s]V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid s_t = s\right]

动作价值:

Qπ(s,a)=Eπ[Gt∣st=s,at=a]Q^\pi(s, a) = \mathbb{E}_\pi\left[G_t \mid s_t = s, a_t = a\right]

Bellman 方程(RL 的核心):

Vπ(s)=∑aπ(a∣s)∑s′P(s′∣s,a)[R(s,a,s′)+γVπ(s′)]V^\pi(s) = \sum_a \pi(a|s) \sum_{s'} P(s'|s,a)\left[R(s,a,s') + \gamma V^\pi(s')\right]

Qπ(s,a)=∑s′P(s′∣s,a)[R+γ∑a′π(a′∣s′)Qπ(s′,a′)]Q^\pi(s,a) = \sum_{s'} P(s'|s,a)\left[R + \gamma \sum_{a'} \pi(a'|s')Q^\pi(s',a')\right]

Bellman 方程是"当前价值 = 即时奖励 + 后续价值"的递归表达——所有 RL 算法都建立在它之上。

最优性

V∗(s)=max⁡aQ∗(s,a)V^*(s) = \max_a Q^*(s,a)

Q∗(s,a)=E[R+γmax⁡a′Q∗(s′,a′)]Q^*(s,a) = \mathbb{E}\left[R + \gamma \max_{a'} Q^*(s',a')\right]

Bellman 最优算子是压缩映射 → 反复迭代必然收敛到唯一最优解。这是值迭代方法的理论基础。

算法分类

                    ┌── 基于模型(Model-based): 学 P 和 R,然后规划
RL 算法 ────────────┤
                    └── 无模型(Model-free):
                          ┌── 基于价值(Value-based): 学 V/Q,策略由 argmax 导出
                          │     Q-learning、DQN
                          ├── 基于策略(Policy-based): 直接学 π
                          │     REINFORCE、PPO
                          └── Actor-Critic: 两者结合
                                A3C、SAC、PPO

基于价值的方法

Q-learning

Q(s,a)←Q(s,a)+α[r+γmax⁡a′Q(s′,a′)−Q(s,a)]Q(s,a) \leftarrow Q(s,a) + \alpha\left[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\right]

这是 RL 最经典的更新式:把当前估计往"即时奖励 + 下一状态的最优价值"推。

Off-policy:学习时用的动作(max⁡\max,贪心)和执行的动作(ϵ\epsilon-greedy,探索)可以不同。这是个重要优势(能用历史数据)。

表格版保证收敛(在满足所有状态-动作对被无限次访问的条件下),但状态空间大时不可行。

DQN(Deep Q-Network)

用神经网络近似Q(s,a;θ)Q(s,a;\theta)。

目标(用 Bellman 方程构造监督信号):

y=r+γmax⁡a′Q(s′,a′;θ−)y = r + \gamma \max_{a'} Q(s', a'; \theta^-)

两个关键技巧(解决"用神经网络做 RL 不稳定"):

  1. 经验回放(Experience Replay):把(s,a,r,s′)(s,a,r,s') 存进 buffer,随机采样训练

    • 打破样本的时间相关性
    • 复用数据
  2. 目标网络(Target Network):用一个延迟更新的θ−\theta^- 计算目标

    • 防止"追逐移动目标"导致的震荡

其他改进:

  • Double DQN:用当前网络选动作、目标网络估值,缓解过高估计
  • Dueling DQN:分离V(s)V(s) 和A(s,a)A(s,a),Q=V+AQ = V + A
  • Prioritized Replay:按 TD 误差大小优先采样
  • Rainbow:集成所有改进

基于策略的方法

策略梯度定理

目标:J(θ)=Eτ∼πθ[R(τ)]J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)]

∇θJ(θ)=E[∑t∇θlog⁡πθ(at∣st)⋅Gt]\nabla_\theta J(\theta) = \mathbb{E}\left[\sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot G_t\right]

直觉:提高"带来高回报的动作"的概率,降低"带来低回报的动作"的概率。

REINFORCE

θ←θ+α∑t∇θlog⁡πθ(at∣st)⋅Gt\theta \leftarrow \theta + \alpha \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot G_t

问题:方差极大(GtG_t 是一条完整轨迹的回报,受随机性影响大)。

降低方差:Baseline

∇J=E[∇log⁡π(a∣s)⋅(Gt−b(s))]\nabla J = \mathbb{E}\left[\nabla\log\pi(a|s) \cdot (G_t - b(s))\right]

减去一个 baseline(通常是V(s)V(s))不改变期望,但大幅降低方差。

A(s,a)=Q(s,a)−V(s)叫**优势函数(Advantage)**A(s,a) = Q(s,a) - V(s) \quad \text{叫**优势函数(Advantage)**}

优势函数:这个动作比"平均水平"好多少。这是现代 RL 的核心概念。

GAE(广义优势估计)

A^tGAE=∑l=0∞(γλ)lδt+l,δt=rt+γV(st+1)−V(st)\hat{A}_t^{GAE} = \sum_{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}, \quad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)

δt\delta_t 是 TD 误差(一步的优势估计)。

λ\lambda 在"偏差-方差"之间调节:

  • λ=0\lambda = 0:只用一步(低方差、高偏差)
  • λ=1\lambda = 1:用完整轨迹(高方差、低偏差)

GAE 是 PPO 的标准配置。

Actor-Critic

  • Actor:策略网络πθ\pi_\theta,负责选动作
  • Critic:价值网络VϕV_\phi,负责评估(提供低方差的 baseline)
Critic: 学 V(s)(用 TD 学习,监督信号是 r + γV(s'))
Actor:  用 Critic 给的优势 A(s,a) 做策略梯度更新

这是"用一个学习问题(价值估计)解决另一个学习问题(策略)"——critic 学得快,能给 actor 更稳定的信号。

PPO(Proximal Policy Optimization)

当前最流行的 RL 算法(也是 RLHF 的核心)。

核心思想:限制每次策略更新的幅度,防止"一步走太远导致崩溃"。

Clipped 目标:

LCLIP=E[min⁡(rt(θ)A^t, clip(rt(θ),1−ϵ,1+ϵ)A^t)]L^{CLIP} = \mathbb{E}\left[\min\left(r_t(\theta)\hat{A}_t,\ \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t\right)\right]

其中rt(θ)=πθ(at∣st)πθold(at∣st)r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)} 是新旧策略的概率比。

clip 的作用:

  • 优势为正(好动作):概率比最多增大到1+ϵ1+\epsilon
  • 优势为负(坏动作):概率比最多减小到1−ϵ1-\epsilon

为什么有效:用一阶方法近似了 TRPO 的信赖域约束,但实现简单得多(只是加一个 clip)。

PPO 是"够用且好实现"的典范:不是理论上最优,但极其鲁棒。

SAC(Soft Actor-Critic)

最大熵 RL:不只最大化奖励,还最大化策略的熵。

J=E[∑tr(st,at)+αH(π(⋅∣st))]J = \mathbb{E}\left[\sum_t r(s_t,a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t))\right]

好处:

  • 更好的探索(熵大的策略更随机)
  • 更鲁棒
  • 适合连续动作(机器人)

样本效率好,是连续控制任务的默认选择之一。

RLHF(从人类反馈中强化学习)

让 LLM 对齐人类偏好——ChatGPT 成功的关键技术。

1. SFT(监督微调):
   在高质量"指令-回答"数据上微调

2. 奖励模型(Reward Model):
   收集人类对多个回答的排序
   训练一个模型预测"人类更喜欢哪个"

3. RL 微调(PPO):
   用奖励模型作为奖励信号
   用 PPO 优化语言模型
   加 KL 惩罚防止偏离太远(避免奖励黑客)

Rtotal=RRM(x,y)−β⋅DKL(π(y∣x)∥πSFT(y∣x))R_{total} = R_{RM}(x,y) - \beta \cdot D_{KL}(\pi(y|x) \| \pi_{SFT}(y|x))

KL 项至关重要:没有它,模型会找到奖励模型的漏洞(生成乱码骗高分),这叫奖励黑客(reward hacking)。

DPO(Direct Preference Optimization)

2023 的简化方案:跳过奖励模型,直接从偏好数据优化策略。

LDPO=−E[log⁡σ(βlog⁡πθ(yw∣x)πref(yw∣x)−βlog⁡πθ(yl∣x)πref(yl∣x))]L_{DPO} = -\mathbb{E}\left[\log\sigma\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right]

ywy_w = 被偏好的回答,yly_l = 不被偏好的。

优势:不需要训练奖励模型、不需要 RL 循环(当成分类任务训练),简单稳定。

现状:DPO 及其变体在很多场景取代了 PPO,但最强模型仍常用 PPO/GRPO。

GRPO(Group Relative Policy Optimization)

DeepSeek 2024:去掉 critic 网络,用一组采样的相对表现作为 baseline。

对同一个 prompt 采样 G 个回答
奖励归一化: A_i = (r_i - mean(r)) / std(r)

优势:省掉 critic(省显存、简化流程),特别适合可自动验证的任务(数学、代码)。

探索 vs 利用

RL 的核心困境:

利用(Exploitation): 用当前最优策略拿奖励
探索(Exploration):  尝试未知的动作,可能发现更好的
方法做法
ϵ\epsilon-greedy以ϵ\epsilon 概率随机动作
Boltzmann / Softmax按 Q 值的 softmax 采样
UCB置信区间上界(乐观面对不确定性)
Thompson 采样从后验采样
熵正则在目标里加熵项(SAC)
好奇心 / 内在奖励给"新奇状态"额外奖励

RL 的困难

困难说明
样本效率差需要百万甚至十亿次交互
奖励设计难奖励不对,学到的行为就不对(reward hacking)
不稳定超参敏感,同样的算法换个种子可能差很多
复现困难实现细节影响巨大
稀疏奖励只有最后才有奖励时,几乎学不到

为什么在游戏里成功(AlphaGo、Dota、星际):

  • 可以无限次模拟(样本免费)
  • 奖励明确(赢/输)
  • 环境确定

为什么在现实里难:交互昂贵、奖励模糊、环境不可重置。

与 LLM 的结合

当前 RL 在 LLM 上的主要用途:

用途做法
对齐(RLHF/DPO)让回答符合人类偏好
推理能力(RLVR)在可验证任务(数学、代码)上用 RL 提升推理
Agent学会使用工具、多步规划

RLVR(可验证奖励的强化学习) 是 2024-2025 的重要进展:对有明确答案的任务(数学题能通过、代码能通过测试),奖励信号是可靠的,RL 效果显著(o1、R1 的核心)。

常见坑

  • 奖励函数设计错了:agent 会找到意想不到的捷径(经典的"船赛游戏里原地刷分")
  • 忘了折扣因子或设得不合理:γ\gamma 太小学不到长期策略
  • PPO 的 clip 范围:ϵ\epsilon 通常 0.1~0.3,太大等于没约束
  • GAE 的λ\lambda:0.95 是常用值
  • 没有归一化优势:会让更新步长不稳定
  • 离线 RL 的分布偏移:用历史数据训练时,策略会倾向数据外的动作(需要 CQL、IQL 等约束)
  • 奖励黑客:KL 惩罚太弱会让模型崩坏
  • 过早判断"不收敛":RL 训练曲线噪声极大,要看滑动平均
  • 把 RL 用在有明确监督信号的任务:能用监督学习就用,RL 是不得以的选择