1. 项目概述强化学习核心算法精要这个系列笔记涵盖了CS2385课程中第2讲至第5讲的核心内容聚焦于模仿学习(Imitation Learning)和策略梯度(Policy Gradient)两大强化学习范式其中REINFORCE算法作为策略梯度方法的经典实现被重点解析。作为从业多年的RL实践者我认为这些基础算法构成了现代深度强化学习的基石值得每位学习者深入掌握。2. 模仿学习原理与实现2.1 行为克隆基础架构行为克隆(Behavioral Cloning)是最直接的模仿学习形式其网络架构通常包含输入层状态观测空间维度如Atari游戏的84x84x4图像栈特征提取3-5层CNN经典配置为32-64-64滤波器策略头全连接层Softmax离散动作或Tanh连续动作关键细节数据预处理必须与专家数据完全一致包括帧采样率(通常30FPS降采样到4FPS)、归一化方式(像素值除以255)和观测堆叠方式(4帧concat)2.2 数据聚合技巧(DAgger)传统行为克隆面临分布偏移问题DAgger通过迭代式数据收集解决初始策略π₀训练于专家数据集D运行π₀生成轨迹专家标注新状态混合新旧数据训练π₁重复2-3步直至性能收敛实测指标在MuJoCo的Ant环境中DAgger可使策略最终回报从BC的620±40提升到850±25专家水平9003. 策略梯度理论推导3.1 目标函数构建策略梯度方法直接优化策略πθ的参数θ目标函数为 J(θ) [∑γᵗrᵗ|πθ]其梯度可表示为 ∇J(θ) [∑∇logπθ(a|s) Q̂(s,a)]其中Q̂(s,a)是状态-动作值函数的估计量不同算法的主要区别在于Q̂的计算方式。3.2 方差控制技术原始策略梯度方差过大常用改进基线减法Q̂(s,a) - b(s)优势函数A(s,a) Q(s,a) - V(s)GAE(λ)多步优势的指数加权平均实验对比在CartPole环境中使用基线后训练稳定性提升3倍收敛所需episode从1500降至5004. REINFORCE算法实现细节4.1 完整算法流程初始化策略网络πθ最后一层通常用Softmax运行策略生成轨迹τ(s₀,a₀,r₀,...)计算每个时刻的回报Gₜ∑γᵏ⁻ᵗrₖ更新参数θ ← θ α∑∇logπθ(aₜ|sₜ)Gₜ重复2-4直至收敛关键参数折扣因子γ建议0.99稀疏奖励到0.9密集奖励学习率α建议1e-4到1e-34.2 代码实现要点# PyTorch实现核心片段 def compute_loss(trajectory): states, actions, rewards unpack(trajectory) log_probs policy_net(states).log_prob(actions) returns discount_rewards(rewards) return -(log_probs * returns).mean() # 负号因PyTorch最小化loss常见错误警示未对回报进行归一化导致训练不稳定忘记在测试时关闭探索噪声ε-greedy批量大小不足建议至少32条轨迹5. 高级策略梯度变种5.1 PPO-Clip算法近端策略优化(PPO)通过剪切机制限制更新幅度 L(θ) min(rₜ(θ)Âₜ, clip(rₜ(θ),1-ε,1ε)Âₜ) 其中rₜ(θ)πθ(a|s)/πθ_old(a|s)超参设置剪切范围ε通常取0.1-0.3KL散度系数β取0.01-0.055.2 信赖域策略优化(TRPO)通过KL约束保证单调改进 maximize [πθ(a|s)/πθ_old(a|s) A(s,a)] s.t. [KL(πθ_old||πθ)] ≤ δ实现难点共轭梯度法求解约束优化问题实际中常采用PPO近似6. 工程实践中的关键技巧6.1 输入特征工程图像输入建议使用Nature CNN架构Mnih et al. 2015状态观测时序差分建议包含Δssₜ-sₜ₋₁动作编码连续动作建议使用Tanh输出独立标准差6.2 超参数调优策略先调学习率对数尺度搜索1e-4到1e-2固定其他参数训练100k步观察曲线调整批量大小目标每次更新0.5-2秒最后微调折扣因子γ典型配置参考Atari游戏lr2.5e-4, γ0.99, batch32MuJoCo连续控制lr3e-4, γ0.95, batch647. 性能优化与Debug技巧7.1 训练监控指标关键指标每episode回报、策略熵、梯度范数健康范围熵值应缓慢下降初始≈log|A|最终≈0.1log|A|梯度范数应保持在1e2-1e3量级7.2 常见故障排查回报不增长检查奖励缩放建议[-1,1]区间验证探索率初始随机动作概率应30%训练不稳定尝试梯度裁剪max_norm0.5增加批量大小至少16个episode过拟合专家数据添加L2正则λ1e-4采用早停策略验证集性能下降时停止8. 实际应用案例解析8.1 机械臂控制在UR5机械臂抓取任务中混合使用模仿学习与RL先用50条专家轨迹训练BC策略成功率65%用BC初始化PPO策略在线训练提升至92%成功率关键发现BC预训练使最终收敛速度提升4倍8.2 游戏AI开发《星际争霸II》微操场景模仿学习处理单位选择离散动作策略梯度优化移动攻击连续动作采用分层RL架构实现秒级决策性能对比纯RL需2000万帧训练结合模仿学习仅需500万帧9. 前沿扩展方向9.1 逆强化学习进阶从观察数据推断奖励函数 maximize πE[logD(s,a)] π[log(1-D(s,a))] 其中D为判别器网络最新进展GAIL生成对抗模仿学习在复杂3D运动控制中达到专家水平9.2 多智能体策略梯度MADDPG框架核心思想集中式训练Critic接收所有智能体状态分布式执行各Agent独立决策采用策略集成提升鲁棒性实验数据在合作导航任务中相比独立RL提升40%协作效率