RL 的符号确实多但常用的核心就十几个。下面按类别整理成表附简称和一句话解释。一、基础要素MDP 的五个元素概念符号英文一句话解释状态(s) / (S)State当前所处的情况动作/行为(a) / (A)Action智能体可做的选择奖励(r) / (R)Reward每步环境给的即时反馈转移概率(P(s’|s,a))Transition Probability做动作后到下一状态的概率折扣因子(\gamma)Discount Factor未来奖励的折扣0~1策略(\pi(a|s))Policy状态下选动作的规则轨迹(\tau)Trajectory一条完整的 ((s,a,r)) 序列回合episodeEpisode从开始到终止的一次完整过程二、价值函数最核心容易混概念符号英文一句话解释状态价值函数(V^\pi(s))State Value Function在状态 s按策略 π未来期望回报动作价值函数(Q^\pi(s,a))Action Value Function在状态 s 做动作 a之后按 π未来期望回报最优状态价值(V^*(s))Optimal State Value最优策略下的 V最优动作价值(Q^*(s,a))Optimal Action Value最优策略下的 Q优势函数(A^\pi(s,a))Advantage Function(Q(s,a) - V(s))动作比平均好多少回报(G_t)Return从 t 开始的累积折扣奖励V 和 Q 的区别(V(s))只问状态不管具体动作是“这个状态有多好”(Q(s,a))问状态 动作是“在这个状态做这个动作有多好”关系(V(s) \sum_a \pi(a|s) Q(s,a))三、回报相关容易和奖励混概念符号英文一句话解释奖励(R_t)Reward单步即时反馈回报(G_t)Return从 t 开始的累积折扣奖励折扣回报(G_t \sum \gamma^k R)Discounted Return带折扣的累积奖励TD 误差(\delta_t)TD Error(R \gamma V(s’) - V(s))优势估计(\hat{A}_t)Advantage Estimate对优势的估计如 GAE奖励 vs 回报奖励单步眼前的回报从某步开始累积到未来的四、算法相关概念符号/简称英文一句话解释策略梯度PGPolicy Gradient直接对策略求梯度更新蒙特卡洛MCMonte Carlo用完整轨迹的真实回报估计时序差分TDTemporal Difference用一步奖励 估计自举演员-评论家ACActor-Critic策略网络 价值网络优势估计GAEGeneralized Advantage Estimation偏差方差折中的优势估计近端策略优化PPOProximal Policy Optimization限制更新幅度的 PG最常用深度 Q 网络DQNDeep Q-Network用神经网络学 Q软演员评论家SACSoft Actor-Critic最大熵 AC连续控制五、符号速查最常出现的符号含义记忆(s)状态State(a)动作Action(r) / (R)奖励Reward(\gamma)折扣因子通常 0.99(\pi)策略Policy(V(s))状态价值Value of state(Q(s,a))动作价值Quality of action(A(s,a))优势Advantage(G_t)回报Return(\delta_t)TD 误差TD error(\tau)轨迹Trajectory(\theta)策略参数网络权重(w)价值网络参数Critic 权重六、最容易混的三组易混组区别奖励 (R) vs 回报 (G)奖励是单步回报是累积V vs QV 只问状态Q 问状态动作MC vs TDMC 等结束用真实回报TD 每步用估计策略 (\pi) vs 价值 (V/Q)策略是“怎么做”价值是“有多好”状态 (s) vs 观测 (o)状态是完整信息观测是部分可见七、最简记忆版只记这 8 个如果你只想记最核心的符号含义(s)状态(a)动作(r)奖励(\gamma)折扣(\pi)策略(V(s))状态价值(Q(s,a))动作价值(G_t)回报这 8 个撑起 RL 80% 的公式。八、用一句话串起来智能体在环境里处于状态 (s)根据策略 (\pi) 选动作 (a)环境给奖励 (r) 并转移到 (s’)。目标是最大化累积折扣回报 (G)。(V(s)) 衡量状态好坏(Q(s,a)) 衡量动作好坏(A Q - V) 衡量动作相对优势。更新策略用 PG估计价值用 MC 或 TD。记住这条主线符号就是围着它转的。