Reinforcement Learning
自动关联目录:Reinforcement Learning
强化学习研究的是:一个智能体如何通过与环境交互,学会最大化累积奖励。
与监督学习的关键区别:
| 监督学习 | 强化学习 | |
|---|---|---|
| 监督信号 | 明确的正确答案 | 稀疏的、延迟的奖励 |
| 数据 | 静态数据集 | 策略自己产生的数据(分布会变) |
| 目标 | 拟合 | 最大化长期回报 |
这个自举(bootstrap)结构既是 RL 的力量所在,也是它不稳定的根源。
MDP 框架
马尔可夫决策过程:
| 符号 | 含义 |
|---|---|
| 状态空间 | |
| 动作空间 | |
| $P(s' | s,a)$ |
| 奖励函数 | |
| 折扣因子 |
马尔可夫性:未来只依赖当前状态,不依赖历史。
目标
最大化折扣累积回报:
折扣因子 的意义:
- 越接近 1 越"有远见"
- 数学上保证无穷和收敛
- 也建模了"未来的不确定性"
价值函数
状态价值(在策略 下,从状态 出发的期望回报):
动作价值:
Bellman 方程(RL 的核心):
Bellman 方程是"当前价值 = 即时奖励 + 后续价值"的递归表达——所有 RL 算法都建立在它之上。
最优性
Bellman 最优算子是压缩映射 → 反复迭代必然收敛到唯一最优解。这是值迭代方法的理论基础。
算法分类
┌── 基于模型(Model-based): 学 P 和 R,然后规划
RL 算法 ────────────┤
└── 无模型(Model-free):
┌── 基于价值(Value-based): 学 V/Q,策略由 argmax 导出
│ Q-learning、DQN
├── 基于策略(Policy-based): 直接学 π
│ REINFORCE、PPO
└── Actor-Critic: 两者结合
A3C、SAC、PPO基于价值的方法
Q-learning
这是 RL 最经典的更新式:把当前估计往"即时奖励 + 下一状态的最优价值"推。
Off-policy:学习时用的动作(,贪心)和执行的动作(-greedy,探索)可以不同。这是个重要优势(能用历史数据)。
表格版保证收敛(在满足所有状态-动作对被无限次访问的条件下),但状态空间大时不可行。
DQN(Deep Q-Network)
用神经网络近似。
目标(用 Bellman 方程构造监督信号):
两个关键技巧(解决"用神经网络做 RL 不稳定"):
经验回放(Experience Replay):把 存进 buffer,随机采样训练
- 打破样本的时间相关性
- 复用数据
目标网络(Target Network):用一个延迟更新的 计算目标
- 防止"追逐移动目标"导致的震荡
其他改进:
- Double DQN:用当前网络选动作、目标网络估值,缓解过高估计
- Dueling DQN:分离 和,
- Prioritized Replay:按 TD 误差大小优先采样
- Rainbow:集成所有改进
基于策略的方法
策略梯度定理
目标:
直觉:提高"带来高回报的动作"的概率,降低"带来低回报的动作"的概率。
REINFORCE
问题:方差极大( 是一条完整轨迹的回报,受随机性影响大)。
降低方差:Baseline
减去一个 baseline(通常是)不改变期望,但大幅降低方差。
优势函数:这个动作比"平均水平"好多少。这是现代 RL 的核心概念。
GAE(广义优势估计)
是 TD 误差(一步的优势估计)。
在"偏差-方差"之间调节:
- :只用一步(低方差、高偏差)
- :用完整轨迹(高方差、低偏差)
GAE 是 PPO 的标准配置。
Actor-Critic
- Actor:策略网络,负责选动作
- Critic:价值网络,负责评估(提供低方差的 baseline)
Critic: 学 V(s)(用 TD 学习,监督信号是 r + γV(s'))
Actor: 用 Critic 给的优势 A(s,a) 做策略梯度更新这是"用一个学习问题(价值估计)解决另一个学习问题(策略)"——critic 学得快,能给 actor 更稳定的信号。
PPO(Proximal Policy Optimization)
当前最流行的 RL 算法(也是 RLHF 的核心)。
核心思想:限制每次策略更新的幅度,防止"一步走太远导致崩溃"。
Clipped 目标:
其中 是新旧策略的概率比。
clip 的作用:
- 优势为正(好动作):概率比最多增大到
- 优势为负(坏动作):概率比最多减小到
为什么有效:用一阶方法近似了 TRPO 的信赖域约束,但实现简单得多(只是加一个 clip)。
PPO 是"够用且好实现"的典范:不是理论上最优,但极其鲁棒。
SAC(Soft Actor-Critic)
最大熵 RL:不只最大化奖励,还最大化策略的熵。
好处:
- 更好的探索(熵大的策略更随机)
- 更鲁棒
- 适合连续动作(机器人)
样本效率好,是连续控制任务的默认选择之一。
RLHF(从人类反馈中强化学习)
让 LLM 对齐人类偏好——ChatGPT 成功的关键技术。
1. SFT(监督微调):
在高质量"指令-回答"数据上微调
2. 奖励模型(Reward Model):
收集人类对多个回答的排序
训练一个模型预测"人类更喜欢哪个"
3. RL 微调(PPO):
用奖励模型作为奖励信号
用 PPO 优化语言模型
加 KL 惩罚防止偏离太远(避免奖励黑客)KL 项至关重要:没有它,模型会找到奖励模型的漏洞(生成乱码骗高分),这叫奖励黑客(reward hacking)。
DPO(Direct Preference Optimization)
2023 的简化方案:跳过奖励模型,直接从偏好数据优化策略。
= 被偏好的回答, = 不被偏好的。
优势:不需要训练奖励模型、不需要 RL 循环(当成分类任务训练),简单稳定。
现状:DPO 及其变体在很多场景取代了 PPO,但最强模型仍常用 PPO/GRPO。
GRPO(Group Relative Policy Optimization)
DeepSeek 2024:去掉 critic 网络,用一组采样的相对表现作为 baseline。
对同一个 prompt 采样 G 个回答
奖励归一化: A_i = (r_i - mean(r)) / std(r)优势:省掉 critic(省显存、简化流程),特别适合可自动验证的任务(数学、代码)。
探索 vs 利用
RL 的核心困境:
利用(Exploitation): 用当前最优策略拿奖励
探索(Exploration): 尝试未知的动作,可能发现更好的| 方法 | 做法 |
|---|---|
| -greedy | 以 概率随机动作 |
| Boltzmann / Softmax | 按 Q 值的 softmax 采样 |
| UCB | 置信区间上界(乐观面对不确定性) |
| Thompson 采样 | 从后验采样 |
| 熵正则 | 在目标里加熵项(SAC) |
| 好奇心 / 内在奖励 | 给"新奇状态"额外奖励 |
RL 的困难
| 困难 | 说明 |
|---|---|
| 样本效率差 | 需要百万甚至十亿次交互 |
| 奖励设计难 | 奖励不对,学到的行为就不对(reward hacking) |
| 不稳定 | 超参敏感,同样的算法换个种子可能差很多 |
| 复现困难 | 实现细节影响巨大 |
| 稀疏奖励 | 只有最后才有奖励时,几乎学不到 |
为什么在游戏里成功(AlphaGo、Dota、星际):
- 可以无限次模拟(样本免费)
- 奖励明确(赢/输)
- 环境确定
为什么在现实里难:交互昂贵、奖励模糊、环境不可重置。
与 LLM 的结合
当前 RL 在 LLM 上的主要用途:
| 用途 | 做法 |
|---|---|
| 对齐(RLHF/DPO) | 让回答符合人类偏好 |
| 推理能力(RLVR) | 在可验证任务(数学、代码)上用 RL 提升推理 |
| Agent | 学会使用工具、多步规划 |
RLVR(可验证奖励的强化学习) 是 2024-2025 的重要进展:对有明确答案的任务(数学题能通过、代码能通过测试),奖励信号是可靠的,RL 效果显著(o1、R1 的核心)。
常见坑
- 奖励函数设计错了:agent 会找到意想不到的捷径(经典的"船赛游戏里原地刷分")
- 忘了折扣因子或设得不合理: 太小学不到长期策略
- PPO 的 clip 范围: 通常 0.1~0.3,太大等于没约束
- GAE 的:0.95 是常用值
- 没有归一化优势:会让更新步长不稳定
- 离线 RL 的分布偏移:用历史数据训练时,策略会倾向数据外的动作(需要 CQL、IQL 等约束)
- 奖励黑客:KL 惩罚太弱会让模型崩坏
- 过早判断"不收敛":RL 训练曲线噪声极大,要看滑动平均
- 把 RL 用在有明确监督信号的任务:能用监督学习就用,RL 是不得以的选择