使用 Apache MXNet Gluon 实现逻辑回归从数据管道到训练与指标评估的完整实战【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet导读逻辑回归Logistic Regression是深度学习初学者最先接触的模型之一也是理解「神经网络做二分类」的最佳起点。本文以 Apache MXNet 的 Gluon 高层 API 为主线完整演示如何从零实现一个逻辑回归分类器从合成数据的生成、Dataset/DataLoader数据管道的搭建到单神经元输出网络的定义、SigmoidBinaryCrossEntropyLoss损失与 SGD 训练器的配置再到 Accuracy 与 F1 指标的验证流程。读完本文你将掌握用 Gluon 搭建、训练并评估二分类模型的标准套路并避开「输出层神经元个数」「标签编码」「概率转类别」等最容易踩的坑。逻辑回归与 Gluon为什么用它做入门逻辑回归要求模型输出一个介于 0 和 1 之间的概率值用来表示样本属于正类类别 1的可能性。在神经网络框架中这通常等价于「最后一层只有一个神经元后面再接 Sigmoid 激活」的结构。Apache MXNet 的 Gluon 接口python/mxnet/gluon/提供了一套命令式、可组合的 Block 体系把数据加载、层堆叠、损失计算、指标评估全部封装成直观的对象非常适合快速验证思路。环境准备导入依赖与生成合成数据导入所需包首先导入本教程所需的全部依赖包import numpy as onp import mxnet as mx from mxnet import np, npx, autograd, gluon from mxnet.gluon import nn, Trainer from mxnet.gluon.data import DataLoader, ArrayDataset mx.np.random.seed(12345) # Added for reproducibility这里使用的是 MXNet 的numpy兼容接口mxnet.np与mxnet.npx它提供了与 NumPy 相似但运行在 MXNet 设备/图上的数组操作。autograd用于自动求梯度gluon提供高层训练组件gluon.nn提供神经网络层Trainer封装优化器更新逻辑DataLoader与ArrayDataset则负责数据的组织与批量化。设置随机种子12345可以保证每次运行结果一致便于复现。生成带标签的合成数据集本教程使用伪造数据集每个样本包含 10 个特征服从均值为 0、标准差为 1 的正态分布类别标签为 0 或 1。标签不是随机生成的而是通过非随机逻辑生成这样网络就能从中找到可学习的模式def get_random_data(size, device): x np.random.normal(0, 1, size(size, 10), devicedevice) y x.sum(axis1) 3 return x, y当样本 10 个特征之和大于 3 时标签为 1正类否则为 0。选择阈值 3 是为了让正例数量少于负例、但又不会太少从而构造一个轻微类别不平衡的二分类问题——这也是后续使用 F1 指标的意义所在。超参数设置device mx.cpu() train_data_size 1000 val_data_size 100 batch_size 10由于模型简单、数据量小这里使用 CPU 计算如需更高级的场景可将device改为mx.gpu()。训练集 1000 条、验证集 100 条、批大小 10即每个 epoch 包含 100 个训练 batch。数据管道Dataset 与 DataLoaderMXNet Gluon 用两个类分工处理数据对应源码 python/mxnet/gluon/data/dataloader.pyDataset提供对数据的有索引访问__getitem__DataLoader负责打乱shuffle与分批batchify数据。两者都定义在mxnet.gluon.data模块中。本教程使用的ArrayDataset将多个数组按第一维对齐打包成一个数据集非常适合特征与标签并列存放的场景train_x, train_ground_truth_class get_random_data(train_data_size, device) train_dataset ArrayDataset(train_x, train_ground_truth_class) train_dataloader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) val_x, val_ground_truth_class get_random_data(val_data_size, device) val_dataset ArrayDataset(val_x, val_ground_truth_class) val_dataloader DataLoader(val_dataset, batch_sizebatch_size, shuffleTrue)从源码看DataLoader还支持last_batchkeep/discard/rollover控制最后不完整 batch 的处理方式、batchify_fn自定义如何把样本合并成 batch默认Stack、num_workers多进程预处理线程数、pin_memory拷贝到锁页内存以加速 GPU 拷贝等参数。本教程只用到最核心的batch_size与shuffleshuffleTrue让每个 epoch 中样本顺序被打乱避免模型学到 batch 顺序相关的假模式。定义模型单神经元输出层的多层感知机逻辑回归对网络结构的唯一硬性要求是最后一层必须是单个神经元。其余部分可以任意复杂。Gluon 通过 Dense 层并指定units1来实现。下面的模型包含 10 神经元的输入层、两个各 10 神经元的隐藏层以及 1 个神经元的输出层。层与层之间用 HybridSequential 顺序堆叠并用 Xavier 初始化网络参数net nn.HybridSequential() net.add(nn.Dense(units10, activationrelu)) # input layer net.add(nn.Dense(units10, activationrelu)) # inner layer 1 net.add(nn.Dense(units10, activationrelu)) # inner layer 2 net.add(nn.Dense(units1)) # output layer: notice, it must have only 1 neuron net.initialize(mx.init.Xavier())关于 Dense 层的实现细节python/mxnet/gluon/nn/basic_layers.pyDense 实现的操作是output activation(dot(input, weight.T) bias)其构造参数包括units输出维度、activation激活函数不指定则为线性、use_bias默认True、flatten默认True将除第一维外的维度压平、dtype默认float32、weight_initializer与bias_initializer默认偏置初始化为零、in_units输入维度不指定则延迟到第一次前向时根据输入形状推断。Xavier 初始化的设计意图python/mxnet/initializer.pyXavier 初始化旨在让所有层的梯度尺度大致保持一致缓解深层网络的梯度消失/爆炸问题。其默认配置为rnd_typeuniform、factor_typeavg、magnitude3即在区间[-c, c]内均匀采样其中c sqrt(3 / (0.5 * (n_in n_out)))n_in、n_out分别为输入与输出神经元数量。也支持gaussian随机类型以及in/out/avg三种 factor 模式。损失函数、优化器与评估指标模型定义好之后还需要三样东西损失函数、训练器Trainer与评估指标。损失函数SigmoidBinaryCrossEntropyLoss损失函数用来衡量网络输出与真实标签的差异。由于逻辑回归的类别是 0 或 1使用 SigmoidBinaryCrossEntropyLoss别名为SigmoidBCELoss。注意代码中没有指定from_sigmoid属性其默认值为False意味着损失函数内部会同时完成 Sigmoid 与交叉熵的计算网络输出层不需要额外接 Sigmoid但在推理阶段我们需要手动将输出通过 Sigmoid 才能得到概率。从源码看python/mxnet/gluon/loss.py该损失在from_sigmoidFalse时按如下公式计算prob 1 / (1 exp(-pred)) L - sum( label * log(prob) * pos_weight (1 - label) * log(1 - prob) )其内部实现没有直接算exp再取log而是采用数值稳定的等价公式relu(pred) - pred * label softrelu(-|pred|)通过 log-sum-exp 技巧避免数值溢出。pos_weight 1会降低假阴性、提升召回率pos_weight 1则降低假阳性、提升精确率。weight与sample_weight用于对损失做全局或逐样本加权batch_axis默认 0指定 batch 所在的维度。优化器SGDTrainer对象用于指定训练方法。本教程使用随机梯度下降SGD并配置学习率与权重衰减loss gluon.loss.SigmoidBinaryCrossEntropyLoss() trainer Trainer(paramsnet.collect_params(), optimizersgd, optimizer_params{learning_rate: 0.1}) accuracy mx.gluon.metric.Accuracy() f1 mx.gluon.metric.F1()learning_rate定义每一步权重更新的步长。本教程取 0.1weight decaywd正则化手段防止过拟合。net.collect_params()收集网络所有参数传给 Trainer训练时trainer.step(batch_size)会按 batch 大小对梯度做归一化后更新这些参数。评估指标Accuracy 与 F1指标用来衡量模型在任务层面的表现。损失函数对训练过程更重要而指标通常才是我们真正想要优化的目标且可以同时使用多个指标从不同侧面衡量模型。本教程使用 Accuracy准确率与 F1F1 分数loss gluon.loss.SigmoidBinaryCrossEntropyLoss() trainer Trainer(paramsnet.collect_params(), optimizersgd, optimizer_params{learning_rate: 0.1}) accuracy mx.gluon.metric.Accuracy() f1 mx.gluon.metric.F1()F1 分数是精确率与召回率的调和平均数F1 2 * (precision * recall) / (precision recall)最优为 1.0、最差为 0.0从源码注释看该实现只支持二分类问题并可通过threshold默认 0.5与averagemicro/macro/None参数调节。训练函数自动求导与参数更新训练函数迭代训练数据的所有 batch对每个 batch 执行前向传播并计算训练损失。关键是第 19 行把每个 batch 的损失累加进一个变量因为损失按单 batch 计算但我们想按 epoch 展示def train_model(): cumulative_train_loss 0 for i, (data, label) in enumerate(train_dataloader): with autograd.record(): # Do forward pass on a batch of training data output net(data) # Calculate loss for the training data batch loss_result loss(output, label) # Calculate gradients loss_result.backward() # Update parameters of the network trainer.step(batch_size) # sum losses of every batch cumulative_train_loss np.sum(loss_result).item() return cumulative_train_loss训练循环的四个标准动作值得拆解with autograd.record():开启自动求导记录前向计算图在此上下文中被构建前向传播output net(data)得到网络输出loss(output, label)计算该 batch 的损失loss_result.backward()依据记录的计算图反向传播求梯度trainer.step(batch_size)用 SGD 按学习率更新全部参数batch_size用于把梯度归一化到「平均梯度」。验证函数概率转类别与 F1 的概率输入验证函数与训练函数结构类似主要区别在于要计算模型的准确率与 F1 分数def validate_model(threshold): cumulative_val_loss 0 for i, (val_data, val_ground_truth_class) in enumerate(val_dataloader): # Do forward pass on a batch of validation data output net(val_data) # Similar to cumulative training loss, calculate cumulative validation loss cumulative_val_loss np.sum(loss(output, val_ground_truth_class)).item() # getting prediction as a sigmoid prediction npx.sigmoid(net(val_data)) # Converting neuron outputs to classes predicted_classes mx.np.ceil(prediction - threshold) # Update validation accuracy accuracy.update(val_ground_truth_class, predicted_classes.reshape(-1)) # calculate probabilities of belonging to different classes. F1 metric works only with this notation prediction prediction.reshape(-1) probabilities mx.np.stack([1 - prediction, prediction], axis1) f1.update(val_ground_truth_class, probabilities) return cumulative_val_lossAccuracy 的陷阱为什么不能直接传 Sigmoid 输出Accuracy指标要求两个参数1真实类别向量2预测向量或矩阵。从源码python/mxnet/gluon/metric.py可以看到其内部逻辑当预测值与标签形状相同时Accuracy会直接把预测向量转换为Int32类型并逐元素与标签比较——它假定预测向量已经是类别索引而不是概率。这正是容易出错的地方如果直接把npx.sigmoid的输出传给AccuracySigmoid 输出落在[0, 1]区间无论概率多高哪怕是 0.99转换为整数后都会变成 0准确率会被严重低估。因此验证函数第 12 行编写了一段自定义转换逻辑先用Sigmoid函数计算概率从原始 sigmoid 输出中减去一个阈值。阈值通常为 0.5若希望提高「样本属于类别 1」的确定性门槛可以调高使用mx.np.ceil函数所有负值转为 0所有正值转为 1。经过这三步预测结果就可以安全地交给accuracy.update()了。F1 指标需要两类的概率矩阵与Accuracy不同F1指标要求传入每个类别各自的概率而不是每样本一个数值。因此第 21-22 行做了两步准备把预测reshape成单个向量把「属于类别 0 的概率1 - prediction」与「属于类别 1 的概率prediction」沿 axis1 堆叠成概率矩阵。然后将该矩阵传给f1.update()。从 F1 源码 看其内部通过统计 TP/FP/FN 计算精确率与召回率再得出 F1 分数。主训练循环与运行结果将上述函数组合起来就得到完整的主训练循环epochs 10 threshold 0.5 for e in range(epochs): avg_train_loss train_model() / train_data_size avg_val_loss validate_model(threshold) / val_data_size print(Epoch: %s, Training loss: %.2f, Validation loss: %.2f, Validation accuracy: %.2f, F1 score: %.2f % (e, avg_train_loss, avg_val_loss, accuracy.get()[1], f1.get()[1])) # we reset accuracy, so the new epochs accuracy would be calculated from the blank state accuracy.reset()每轮 epoch 中train_model()返回累计训练损失除以train_data_size得到平均训练损失validate_model(threshold)返回累计验证损失除以val_data_size得到平均验证损失accuracy.get()[1]与f1.get()[1]取出当前 epoch 的准确率与 F1 分数accuracy.reset()重置指标使每个 epoch 的指标从零开始统计注意示例中只重置了accuracy如需各 epoch 独立的 F1 曲线也应同步调用f1.reset()。示例输出训练 10 个 epochEpoch: 0, Training loss: 0.43, Validation loss: 0.36, Validation accuracy: 0.85, F1 score: 0.00 Epoch: 1, Training loss: 0.22, Validation loss: 0.14, Validation accuracy: 0.96, F1 score: 0.35 Epoch: 2, Training loss: 0.09, Validation loss: 0.11, Validation accuracy: 0.97, F1 score: 0.48 Epoch: 3, Training loss: 0.07, Validation loss: 0.09, Validation accuracy: 0.96, F1 score: 0.53 Epoch: 4, Training loss: 0.06, Validation loss: 0.09, Validation accuracy: 0.97, F1 score: 0.58 Epoch: 5, Training loss: 0.04, Validation loss: 0.12, Validation accuracy: 0.97, F1 score: 0.59 Epoch: 6, Training loss: 0.05, Validation loss: 0.09, Validation accuracy: 0.99, F1 score: 0.62 Epoch: 7, Training loss: 0.05, Validation loss: 0.10, Validation accuracy: 0.97, F1 score: 0.62 Epoch: 8, Training loss: 0.05, Validation loss: 0.12, Validation accuracy: 0.95, F1 score: 0.63 Epoch: 9, Training loss: 0.04, Validation loss: 0.09, Validation accuracy: 0.98, F1 score: 0.65在本例中训练 10 个 epoch 后达到 0.98 的准确率与 0.65 的 F1 分数。可以看到训练损失从 0.43 迅速下降到 0.04 附近验证准确率稳定在 0.95 以上F1 分数从 0 起步逐步爬升——初期准确率已经较高而 F1 很低正反映了正负样本不均衡时 F1 对正类召回更敏感的特性说明两者配合使用才能更全面地评估模型。三个必须注意的实践要点Tip 1输出层只用一个神经元尽管有两个类别输出层也只能有 1 个神经元因为SigmoidBinaryCrossEntropyLoss只接受单特征作为输入即输出维度为 1。这与使用 Softmax 多神经元输出层的多分类网络有本质区别。Tip 2类别必须编码为 0 和 1SigmoidBinaryCrossEntropyLoss要求类别编码为 0 和 1。有些数据集的类别编码可能是 -1 和 1或 1 和 2使用前必须先重新编码。若直接使用不符合约定的标签损失函数计算出的梯度方向会出错模型无法正确学习。Tip 3使用 SigmoidBinaryCrossEntropyLossGluon API 为逻辑回归提供了专门的损失函数 SigmoidBinaryCrossEntropyLoss。相比自己手动组合 Sigmoid 与交叉熵该损失在from_sigmoidFalse默认时会用数值稳定的公式同时完成 Sigmoid 与 BCE 计算避免 log(0) 与数值溢出问题。总结通过 Gluon 实现逻辑回归核心要点可以概括为四条输出层只用一个神经元——这是逻辑回归在神经网络中的结构约束类别标签编码为 0 或 1——满足SigmoidBinaryCrossEntropyLoss的输入约定使用SigmoidBinaryCrossEntropyLoss——数值稳定且语义明确计算 Accuracy 前先把概率转换为类别——否则Accuracy会把所有概率截断为 0得到完全错误的结果。本教程覆盖了从合成数据生成、ArrayDataset/DataLoader数据管道、HybridSequentialDense网络堆叠、autograd.record()trainer.step()训练循环到 Accuracy/F1 双指标验证的完整流程。相关实现可在仓库中继续深入研读损失函数实现、指标实现、Dense 层实现、Xavier 初始化 与 DataLoader 实现。掌握了这条链路你就能自如地将同样的模式推广到更复杂的二分类乃至多分类任务中。【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考