1. 项目概述用PyTorch实现DQN训练贪吃蛇AI去年在复现经典论文时我发现用强化学习训练游戏AI最令人着迷的莫过于看着智能体从零开始进化。这次我们尝试用PyTorch搭建全连接神经网络结合DQN算法训练一个能自主玩贪吃蛇的AI。不同于传统的监督学习强化学习中的智能体需要通过不断试错来理解动作与奖励的关系。这个项目特别适合想入门强化学习的开发者你将会掌握如何用PyTorch构建适合强化学习的神经网络DQN算法核心原理及实现技巧贪吃蛇游戏环境的定制化改造训练过程中的关键参数调优方法2. 核心架构设计2.1 神经网络结构设计对于贪吃蛇这种状态空间相对简单的游戏三层全连接网络已经足够class DQN(nn.Module): def __init__(self, input_dim, output_dim): super().__init__() self.fc1 nn.Linear(input_dim, 128) self.fc2 nn.Linear(128, 128) self.fc3 nn.Linear(128, output_dim) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x)输入维度取决于游戏状态表示方式。我实验过两种方案原始像素输入将游戏画面resize为84x84灰度图约7000维特征工程输入提取蛇头位置、食物位置等关键特征通常10-20维实测发现第二种方式训练效率更高因为网络不需要学习视觉特征提取。2.2 游戏环境实现用Pygame实现定制化贪吃蛇环境时这几个要点需要注意class SnakeEnv: def __init__(self, grid_size20): self.grid_size grid_size self.reset() def get_state(self): # 返回归一化后的状态向量 return np.array([ self.snake[0][0]/self.grid_size, # 蛇头x self.snake[0][1]/self.grid_size, # 蛇头y self.food[0]/self.grid_size, # 食物x self.food[1]/self.grid_size, # 食物y # 加入8个方向的最近障碍距离 self._get_obstacle_distances() ], dtypenp.float32) def step(self, action): # 执行动作并返回(next_state, reward, done, info) ...关键技巧状态向量一定要做归一化处理否则不同量纲的特征会影响训练稳定性3. DQN算法实现细节3.1 经验回放机制DQN的核心组件之一就是经验回放缓冲区它能解决样本关联性问题class ReplayBuffer: def __init__(self, capacity): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size): transitions random.sample(self.buffer, batch_size) return zip(*transitions)我建议缓冲区大小设为1万-10万batch size设为128-512。太小的缓冲区会导致训练不稳定。3.2 目标网络更新策略目标网络用于计算Q-target值有两种更新方式硬更新每隔C步完全复制策略网络参数软更新每次按比例τ混合参数# 软更新实现 def update_target(self): for target_param, policy_param in zip(self.target_net.parameters(), self.policy_net.parameters()): target_param.data.copy_( self.tau * policy_param.data (1-self.tau) * target_param.data )实验表明τ0.005的软更新效果最好训练曲线更平滑。4. 训练过程优化4.1 探索-利用平衡使用ε-greedy策略时衰减方案对训练效果影响很大def get_epsilon(self, episode): # 指数衰减 return self.epsilon_end (self.epsilon_start - self.epsilon_end) * \ math.exp(-1. * episode / self.epsilon_decay)推荐参数ε_start 1.0ε_end 0.01ε_decay 2004.2 奖励函数设计贪吃蛇的奖励设计很有讲究这是我的方案事件奖励值说明吃到食物10主要目标死亡-10避免撞墙/自身靠近食物0.1引导探索远离食物-0.1防止绕圈注意稀疏奖励会导致训练困难适当加入稠密奖励能显著加速收敛5. 完整训练流程5.1 超参数配置config { gamma: 0.99, # 折扣因子 lr: 1e-4, # 学习率 batch_size: 128, # 批大小 buffer_size: 10000,# 经验池大小 tau: 0.005, # 目标网络更新率 episodes: 2000, # 训练轮次 max_steps: 1000, # 每轮最大步数 }5.2 主训练循环for episode in range(config[episodes]): state env.reset() episode_reward 0 for step in range(config[max_steps]): # 选择动作 epsilon agent.get_epsilon(episode) action agent.select_action(state, epsilon) # 执行动作 next_state, reward, done, _ env.step(action) # 存储经验 agent.memory.push(state, action, reward, next_state, done) # 学习 if len(agent.memory) config[batch_size]: agent.learn() state next_state episode_reward reward if done: break # 每100轮测试一次 if episode % 100 0: test_score evaluate(agent, env) print(fEpisode {episode}, Test Score: {test_score})6. 常见问题与解决方案6.1 训练不收敛问题现象reward曲线波动大没有上升趋势解决方法检查奖励函数设计是否合理降低学习率尝试1e-5到1e-3增大经验回放缓冲区至少1万条6.2 智能体原地转圈现象蛇不断转圈但不吃食物原因奖励函数缺少方向引导改进# 在奖励函数中加入方向奖励 food_dir np.arctan2(food_y - head_y, food_x - head_x) curr_dir np.arctan2(dy, dx) direction_reward 1 - abs(food_dir - curr_dir)/math.pi6.3 训练后期性能下降现象测试分数先升后降解决方法实现ε的周期性重置加入优先级经验回放(PER)使用Double DQN减少过估计7. 进阶优化方向当基础版本能稳定运行后可以尝试以下改进Dueling DQN分离状态价值和优势函数class DuelingDQN(nn.Module): def __init__(self, input_dim, output_dim): super().__init__() self.feature nn.Linear(input_dim, 128) self.value nn.Linear(128, 1) self.advantage nn.Linear(128, output_dim) def forward(self, x): x F.relu(self.feature(x)) value self.value(x) advantage self.advantage(x) return value advantage - advantage.mean()多步学习使用n-step回报计算目标值# 在经验回放中存储n步轨迹 n_step_return sum([gamma**i * rewards[i] for i in range(n)])课程学习从简单场景逐步增加难度初始阶段小地图(10x10)中级阶段加入障碍物高级阶段随机生成迷宫地图经过约8小时的训练RTX 3060显卡我的最佳模型在20x20网格中能达到平均150分的水平。最令人惊喜的是智能体自己发展出了绕圈囤积食物的高级策略这完全超出了我的预期。