强化学习关卡 AI：PPO 训练、工程排障与评估

这篇是游戏客户端实习经历的面试稿。最有价值的不是背 PPO 公式，而是一个真实排障：异步推理破坏了 state、action、reward 的对应关系，模型因此学到了错误梯度。

面试官：介绍一下你的游戏客户端实习

30 秒回答

我在实习中做的是障碍关卡 AI，希望角色能在动态机关和复杂地形中自动通关。我参与了状态、动作和奖励设计，搭建从客户端环境、采样、训练、模型导出到 Gameplay Demo 验证的流水线，并重点解决了训练不收敛和客户端接入问题。最典型的问题是异步推理让 buffer 中的动作并非当前状态下由策略网络生成，导致 state、action、reward 错配；改成同步决策并排除碰撞反弹、坠落复活等异常阶段后，训练才恢复正确方向。

90 秒回答

业务场景是带动态机关和复杂地形的闯关。规则方案成本和行为都比较可控，但面对多样机关时需要持续手工维护；强化学习希望通过交互学到避障、利用场景物体和动态跳跃等行为。我用 PPO 作为策略优化算法，并参与把游戏客户端变成可训练环境：抽象观测，定义离散或参数化动作，设计目标、碰撞和过程奖励，部署并行训练，再把模型拉回客户端做真实关卡验证。

早期模型会持续撞墙，第一反应不能只是调学习率。我从状态、动作、奖励、客户端执行和采样数据五个方向排查，最终发现客户端异步请求推理时，角色可能还在执行旧动作，buffer 却把当前状态和另一个动作写成一条样本，奖励也无法正确归因。这个错误会直接破坏 PPO 的概率比和优势估计。修复后我又构建了变量更少的 MiniGame，把连续位置离散到网格，并用 Mini Episode / n-step 思路缩短信用分配链路，训练稳定性和复现性有明显改善。

我保留的答辩材料能支持这些过程和方向性结果，但不能完整证明简历中“100% 通关、比 EQS 快 30%”的口径，所以面试中不主动报这两个数字。

面试官：为什么选择 PPO？

直接回答

这个问题是连续时序决策：当前移动或跳跃的价值取决于后续是否避开机关并到达终点，单步规则很难覆盖所有组合。PPO 的 clipped objective 会限制新旧策略单次更新幅度，在工程上比不受约束的策略梯度更稳定，也比较容易配合并行采样。

但 PPO 不是因为“高级”就一定优于规则。固定路线、强确定性和安全要求高的环节，导航、状态机或规则更合适；PPO 适合处理规则数量快速膨胀、局部动作与长期结果耦合的部分。实际系统也可以让规则负责合法性和兜底，让策略负责局部决策。

公式追问

PPO 的核心是限制策略更新幅度。对采样动作的概率比：

$$r_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{old}}(a_t\mid s_t)}$$

clipped surrogate objective 为：

$$L^{CLIP}(\theta)=\mathbb{E}_t\left[\min\left(r_t(\theta)\hat A_t,\operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat A_t\right)\right]$$

当更新让新策略相对旧策略变化过大时，clip 会截断继续获益的方向。它不能保证训练一定稳定，观测、奖励、样本对应关系和实现错误仍然会让训练失败。

面试官：状态、动作和奖励怎样设计？

状态

状态需要对完成任务充分，又要避免把无关连续量直接堆给网络。我会按以下类别组织：

• 自身状态：位置或相对位置、速度、朝向、是否落地、当前动作阶段。
• 目标状态：终点方向与距离、当前子目标。
• 障碍状态：邻近机关的相对位置、类型、运动方向和危险时间窗。
• 历史信息：必要时提供前一动作或有限帧堆叠，补偿部分可观测性。

答辩中的 MiniGame 将空间取整到网格，离散状态规模为 63 × 28 = 1764。这个值只属于简化环境，不等于正式游戏完整观测维度。

动作

动作必须与客户端真正可执行的控制一致。MiniGame 中把位移按网格单位离散，正式场景则还要考虑移动距离、跳跃时机、推理频率和动作持续时间。网络输出一个动作后，执行层要明确动作从何时开始、何时结束，以及异常物理阶段是否允许再次决策。

奖励

奖励可分为：到达目标的终局奖励、向子目标推进的过程奖励、碰撞或坠落惩罚，以及时间成本。各项尺度要可比较，避免过程奖励远大于通关目标，导致角色绕路刷分；也要避免只有终局奖励，让长关卡几乎没有有效学习信号。

网络结构

网络输入来自结构化状态，输出策略分布，训练时还需要价值估计。隐藏层大小和是否共享 policy/value backbone 应由状态复杂度、推理预算和消融实验决定。现有答辩没有保留可靠的层数、宽度与最终超参数，因此面试中可以讲选择原则，不能编造具体网络配置。

面试官：模型一直撞墙时，你怎么排查？

我会先列假设，不马上改超参数：

这次真正的根因在采样与客户端执行边界，而不是学习率。

面试官：异步推理为什么会导致训练错误？

错误时序

sequenceDiagram
    participant G as 游戏客户端
    participant I as 推理服务
    participant B as 采样 Buffer

    G->>I: 用状态 s0 请求动作
    G->>G: 世界继续 Tick，进入 s1
    G->>I: 又用 s1 请求动作
    I-->>G: 较晚返回 a0
    G->>G: 在当前物理阶段执行或覆盖动作
    G->>B: 错写为 (s1, a0, r1)

PPO 训练假设 buffer 中的动作 a_t 是行为策略在状态 s_t 下采样得到的。若异步返回让动作、状态和奖励错位，训练时计算的 π(a_t|s_t) 已经没有正确语义，优势也归因给了错误动作，梯度自然会把策略推向错误方向。

修复思路

改成严格的决策步：冻结本次决策所用状态，得到动作后在明确时间窗内执行，再收集该动作产生的奖励和下一状态。碰撞反弹、跳跃腾空、坠落和复活等不受策略正常控制的阶段，不生成普通决策样本，或者使用单独状态和 mask 表达。

更通用的方案还可以给每次决策增加 step ID，回调只写入对应 step；超时动作丢弃，不能覆盖新决策。这里的重点是样本因果对应，不只是“同步比异步稳定”。

面试官：为什么要做 MiniGame？

完整游戏同时包含物理、机关、动画、网络、复活和客户端 bug，模型不收敛时变量太多，无法判断是算法问题还是环境问题。MiniGame 保留相同的玩法机制以及状态、动作、奖励语义，但把地图和状态空间简化，并用网格单位表达移动。

它的作用类似最小复现：

1. 快速验证奖励方向和动作可控性。
2. 检查 PPO 实现能否在低复杂度环境稳定收敛。
3. 对比某个改动前后，而不被完整项目的随机因素淹没。
4. 形成从 MiniGame、固定关卡到正式随机关卡的课程式验证路径。

如果 MiniGame 都不能稳定学习，就不应继续在正式游戏里盲调。

面试官：Mini Episode / n-step 解决什么？

长关卡中，很多 episode 在到达终点前就超时或失败，终局奖励很难传回早期动作；不同中间区域的样本也不均衡。Mini Episode 用中间目标把长 MDP 切成更短片段，让每段有明确终点，再使用 n-step return 在偏差与方差之间折中。

$$G_t^{(n)}=r_t+\gamma r_{t+1}+\cdots+\gamma^{n-1}r_{t+n-1}+\gamma^n V(s_{t+n})$$

这样能让局部推进更快获得学习信号，也能针对困难区段单独采样。但中间目标不能改变最终任务语义，否则策略可能只会刷子目标而不会真正通关。正式评估仍必须用完整关卡和原始终点。

面试官：如何判断训练真的稳定？

不能只看总 reward。至少同时观察：

• 成功率与 episode length 的均值、分位数和随时间趋势。
• 碰撞、坠落、卡死、复活和超时次数。
• policy loss、value loss、entropy、KL 或 clip fraction。
• 多个随机种子的方差，以及同一 checkpoint 的重复评估。
• 训练环境与真实客户端中的行为差异。

答辩中能看到修复后奖励、步数和复现性方向上改善，也展示了避障、利用场景物体和动静态跳跃等行为；但图表缺少完整样本数、单位和随机种子，适合证明过程，不适合包装成精确外部指标。

面试官：PPO 和 EQS 应该怎样公平比较？

先澄清：EQS 本质是候选空间生成、过滤和评分工具，不天然等价于完整闯关策略。公平比较需要给两套方案相同的任务输入和可用信息，并明确 EQS 外围使用的状态机、导航与动作逻辑。

对照协议

如果成功率不同，不能只比较成功样本的平均耗时；可以先看成功率，再在共同成功集合中比较时间，并报告失败惩罚后的综合指标。原简历中的“100%”与“快 30%”缺少这套原始报告，所以当前不能当成强主张。

面试官：训练环境到游戏运行时有哪些差异？

主要有四类：

1. 时间：训练步长相对固定，真实客户端会掉帧、暂停和产生动作延迟。
2. 物理：碰撞、摩擦、机关时序和浮点误差可能不同。
3. 观测：训练可直接读取真值，运行时可能只能使用有限感知。
4. 生命周期：重生、关卡切换、模型加载失败和异常状态在训练脚本中常被忽略。

解决方式包括让训练观测遵守运行时可得边界、对时延和物理参数做随机化、在客户端记录 step ID 与观测动作日志，以及设置规则兜底和安全动作。模型导出后还要经过固定回放、正式关卡和性能预算三层验证。

面试官：完整训练和接入流水线是什么？

flowchart LR
    DESIGN["状态 / 动作 / 奖励设计"]
    CLIENT["本地客户端环境<br/>调试与采样"]
    PACKAGE["客户端与 AI 后端打包"]
    TRAIN["训练集群部署<br/>并行采样与更新"]
    DATA["训练数据与异常分析"]
    MODEL["模型导出与版本记录"]
    DEMO["客户端接入<br/>关卡评估与 Gameplay Demo"]

    DESIGN --> CLIENT --> PACKAGE --> TRAIN --> DATA
    DATA --> DESIGN
    DATA --> MODEL --> DEMO
    DEMO --> DESIGN

工程上还处理过部署、超时、客户端与后端版本不一致、容器比例、数据上报和训练平台工具问题。模型文件需要绑定观测 schema、动作 schema、归一化参数和版本；只替换一个权重文件而不校验接口，很容易出现“模型能加载但行为全错”。

面试官：这段算法实习对客户端工作的价值是什么？

它训练的不是“会调一个 PPO 库”，而是三种可迁移能力。

第一是因果排障：面对模型不收敛，我会先验证数据链和执行语义，而不是只调参。第二是可观测性：客户端需要记录状态、动作、奖励、step ID、物理阶段和模型版本，才能重放问题。第三是评估意识：平均值不足以支撑结论，必须定义基线、样本、随机种子、失败口径和尾部分布。

这些能力后来直接迁移到异步 UGC 任务、跨语言协议、Gameplay 状态同步和性能优化中。

面试官：如果现在重新做一次，你会怎么改进？

我会先把环境协议做成版本化契约，每条样本带 episode ID、step ID、模型版本和观测 schema；然后建立 MiniGame、固定关卡和随机关卡三级测试集，每次训练保留随机种子、配置和 checkpoint。算法侧增加规则安全层、动作 mask 和系统化消融；运行侧记录推理延迟与动作实际生效时间。最后用统一评估脚本同时跑 PPO 与规则/EQS 基线，避免训练图看起来好，但无法回答真实业务是否更好。

快速背诵版

我在实习中做了障碍关卡 PPO AI，从状态、动作、奖励设计，到客户端采样、训练部署、模型导出和 Gameplay Demo 验证。最关键的一次排障是发现异步推理破坏了样本对应关系：buffer 里的动作并不是策略在当前状态下生成，奖励也归因给了错误动作，所以梯度方向错误。我把决策改成严格同步步，并排除碰撞反弹、坠落复活等异常阶段；之后又做 MiniGame，把连续空间离散成网格，并用中间目标和 n-step 缩短信号链路。答辩能证明训练稳定性和行为方向改善，但无法完整证明“100% 通关、快 30%”，所以我会重点讲方法、故障和公平评估设计，不报缺口径的数字。

责任与证据边界

关联阅读

• 自我介绍与职业叙事：30 秒、90 秒与 3 分钟
• 简历逐行追问与项目选择矩阵
• 强化学习基础