目录标题一、等间隔衰减二、指定间隔衰减三、指数衰减一、等间隔衰减可以通过torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma)来实现学习率的等间隔衰减。optimizer要实现学习率衰减的优化器step_size间隔gamma衰减的比例例如使学习率每隔 20 epoch 衰减为之前的 0.7importtorchimportnumpyasnpimportmatplotlib.pyplotaspltfromtorch.optimimportSGDfromtorch.optim.lr_schedulerimportStepLRdeff(X):return0.05*X[0]**2X[1]**2# 主流程# 1. 参数X初始化Xtorch.tensor(data[-7.0,2.0],requires_gradTrue)# 2. 定义超参数lr0.9num_iters500# 3. 定义优化器 SGDoptimizerSGD(params[X],lrlr)# 4. 定义学习率衰减策略lr_schedulerStepLR(optimizer,step_size20,gamma0.7)X_arrX.detach().numpy().copy()lr_list[]foriinrange(num_iters):# 1. 前向传播得到损失值yf(X)# 2. 反向传播y.backward()# 3. 更新参数optimizer.step()# 4. 梯度清零optimizer.zero_grad()# 将更新之后的X保存到列表中X_arrnp.vstack([X_arr,X.detach().numpy()])lr_list.append(optimizer.param_groups[0][lr])# 5. 更新学习率lr_scheduler.step()plt.rcParams[font.sans-serif][KaiTi]plt.rcParams[axes.unicode_minus]False# 画图划分子图fig,axplt.subplots(nrows1,ncols2,figsize(12,4))x1_grid,x2_gridnp.meshgrid(np.linspace(-7,7,num100),np.linspace(-2,2,num100))y_grid0.05*x1_grid**2x2_grid**2# 画等高线和X点轨迹ax[0].contour(x1_grid,x2_grid,y_grid,levels30,colorsgray)ax[0].plot(X_arr[:,0],X_arr[:,1],r)ax[0].set_title(梯度下降过程)# 画出学习率衰减曲线ax[1].plot(lr_list,k)ax[1].set_title(学习率衰减)# plt.show()plt.savefig(step_lr_result.png)二、指定间隔衰减可以通过torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma)来实现学习率的指定间隔衰减。optimizer要实现学习率衰减的优化器milestones指定衰减的间隔gamma衰减的比例例如使学习率在 epoch 达到[10,50,200]时衰减为之前的 0.7importtorchimportnumpyasnpimportmatplotlib.pyplotaspltfromtorch.optimimportSGDfromtorch.optim.lr_schedulerimportMultiStepLRdeff(X):return0.05*X[0]**2X[1]**2# 主流程# 1. 参数X初始化Xtorch.tensor(data[-7.0,2.0],requires_gradTrue)# 2. 定义超参数lr0.9num_iters500# 3. 定义优化器 SGDoptimizerSGD(params[X],lrlr)# 4. 定义学习率衰减策略lr_schedulerMultiStepLR(optimizer,milestones[10,50,200],gamma0.7)X_arrX.detach().numpy().copy()lr_list[]foriinrange(num_iters):# 1. 前向传播得到损失值yf(X)# 2. 反向传播y.backward()# 3. 更新参数optimizer.step()# 4. 梯度清零optimizer.zero_grad()# 将更新之后的X保存到列表中X_arrnp.vstack([X_arr,X.detach().numpy()])lr_list.append(optimizer.param_groups[0][lr])# 5. 更新学习率lr_scheduler.step()plt.rcParams[font.sans-serif][KaiTi]plt.rcParams[axes.unicode_minus]False# 画图划分子图fig,axplt.subplots(nrows1,ncols2,figsize(12,4))x1_grid,x2_gridnp.meshgrid(np.linspace(-7,7,num100),np.linspace(-2,2,num100))y_grid0.05*x1_grid**2x2_grid**2# 画等高线和X点轨迹ax[0].contour(x1_grid,x2_grid,y_grid,levels30,colorsgray)ax[0].plot(X_arr[:,0],X_arr[:,1],r)ax[0].set_title(梯度下降过程)# 画出学习率衰减曲线ax[1].plot(lr_list,k)ax[1].set_title(学习率衰减)# plt.show()plt.savefig(multistep_lr_result.png)三、指数衰减可以通过torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma)来实现学习率的指数衰减。optimizer要实现学习率衰减的优化器gamma底数学习率← \leftarrow←学习率× \times×g a m m a e p o c h gamma^{epoch}gammaepoch例如使学习率以 0.99 为底数epoch 为指数衰减importtorchimportnumpyasnpimportmatplotlib.pyplotaspltfromtorch.optimimportSGDfromtorch.optim.lr_schedulerimportExponentialLRdeff(X):return0.05*X[0]**2X[1]**2# 主流程# 1. 参数X初始化Xtorch.tensor(data[-7.0,2.0],requires_gradTrue)# 2. 定义超参数lr0.9num_iters500# 3. 定义优化器 SGDoptimizerSGD(params[X],lrlr)# 4. 定义学习率衰减策略lr_schedulerExponentialLR(optimizer,gamma0.99)X_arrX.detach().numpy().copy()lr_list[]foriinrange(num_iters):# 1. 前向传播得到损失值yf(X)# 2. 反向传播y.backward()# 3. 更新参数optimizer.step()# 4. 梯度清零optimizer.zero_grad()# 将更新之后的X保存到列表中X_arrnp.vstack([X_arr,X.detach().numpy()])lr_list.append(optimizer.param_groups[0][lr])# 5. 更新学习率lr_scheduler.step()plt.rcParams[font.sans-serif][KaiTi]plt.rcParams[axes.unicode_minus]False# 画图划分子图fig,axplt.subplots(nrows1,ncols2,figsize(12,4))x1_grid,x2_gridnp.meshgrid(np.linspace(-7,7,num100),np.linspace(-2,2,num100))y_grid0.05*x1_grid**2x2_grid**2# 画等高线和X点轨迹ax[0].contour(x1_grid,x2_grid,y_grid,levels30,colorsgray)ax[0].plot(X_arr[:,0],X_arr[:,1],r)ax[0].set_title(梯度下降过程)# 画出学习率衰减曲线ax[1].plot(lr_list,k)ax[1].set_title(学习率衰减)# plt.show()plt.savefig(exp_lr_result.png)