食物图片分类是很多朋友接触 PyTorch 时想做的第一个“看得见摸得着”的项目既有现实意义又能比较快地看到效果。我在带学员做这个任务时发现最大的门槛往往不是模型怎么搭而是从头到尾走通完整流程——数据准备、预处理、训练、评估、预测每一步都有一些文档里不会明说的隐性知识。这篇博文打算用零基础也能跟上的方式把这个食物分类项目完整拆解一遍不光告诉你代码怎么写更会把每一步背后的为什么讲清楚。1. 食物图片分类的本质难点与方案选型1.1 先搞清楚你要解决的是哪一类问题食物图片分类在深度学习里属于图像分类Image Classification任务给定一张图片模型输出它属于预定义类别中的哪一类。比如输入的是一张披萨照片模型给出“披萨”这个标签。这个任务和我们常说的目标检测物体在哪、是什么不同也不同于图像分割哪些像素属于什么物体。分类问题的输出是离散的类别概率分布最终取概率最高的类别作为预测结果。那为什么选食物而不是别的物体因为食物分类有一个非常典型的特点类内差异小、类间却有较强的相似性。汉堡和芝士汉堡之间的区别可能只是多了几片奶酪不同餐馆的宫保鸡丁从颜色到摆盘差别很大。这就导致模型不能光靠“整体长相”做判断必须抓住食材、调料、纹理这些细粒度特征。换句话说食物分类是一个细粒度图像分类任务比普通的猫狗分类要难上一截。1.2 为什么零基础不能从零训练一个神经网络很多刚入门的朋友第一反应是自己搭一个卷积神经网络从随机权重开始训练。理论上可行现实中非常不推荐。原因很简单数据量不够。典型的食物数据集比如 Food-101有 101 个类别、每个类别 1000 张图片看起来有 10 万张但对于一个深层的卷积网络来说这个数据量根本不够学出足够泛化的特征。从零训练一个 ResNet 级别的网络没有几百万张图很难收敛到理想效果更别提训练时间在普通显卡上是以天计算的。业界成熟的解法是迁移学习Transfer Learning直接加载在 ImageNet 上预训练好的模型权重。ImageNet 有一千多万张图片、一千个类别模型在那里已经学会了通用的边缘、纹理、形状等视觉特征。你可以把这种预训练理解为模型已经练习了好几年的“绘画基本功”现在只需要在食物数据上做“风格化训练”找到食物特有的组合方式就行。这样既省时间效果又远好于从零训练。1.3 当前最省心的技术路线根据我自己的实践和对多个入门项目的观察零基础做食物分类最稳的组合是框架PyTorch生态成熟教程多调试直观数据集Food-101公开、类别多、标准基准模型ResNet50 预训练权重 微调训练策略前期冻结骨干特征提取层只训练新加的分类头后期如果效果不够再解冻全部层做整体微调这条路线的好处是即使你没有 GPU只靠 CPU 也能在合理时间内跑通一个小规模版本比如每个类别取几十张图如果有云端 GPU完整跑一轮 Food-101 也只需要几十分钟到几小时非常适合作为入门项目。2. 环境搭建与数据集准备别在第一步就被卡住2.1 环境安装的版本选型逻辑PyTorch 的安装在不同系统上有细微差别但核心原则一致先确定 CUDA 版本再装对应版本的 PyTorch。如果你用的是 NVIDIA 显卡建议在命令行里先执行nvidia-smi查看驱动支持的 CUDA 版本然后去 PyTorch 官网用安装向导生成适合你机器的命令。# 以 CUDA 12.1 为例Linux 或 Windows 都可以 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121这里有个新手常踩的坑torch和torchvision的版本必须配套否则调用torchvision.models里的预训练模型时会报各种奇怪的属性错误。如果不想纠结版本最简单的办法是安装最新稳定版官方会自动匹配兼容的torchvision。没有 NVIDIA 显卡的同学不要直接放弃有两个替代方案一是用 CPU 版 PyTorch 跑小规模实验把每类图片数降到 20 张左右也能完整走通流程二是用免费的云端 GPU 笔记本环境里面通常已经预装好 PyTorch你只需要上传数据集即可。2.2 数据集从哪里来Food-101 的获取方式Food-101 是食物分类领域最常用的基准数据集包含 101 个食物类别、每类 1000 张图片总计 101000 张图片已经按类别放在文件夹里。它由某高校的研究团队整理发布图片全部来自美食分享网站真实拍摄场景占绝大多数非常有代表性。获取方式有两种如果网络条件好直接用torchvision.datasets.Food101自动下载。它会从公开地址拉取压缩包并解压到data目录。如果自动下载总是失败可以从公开数据集竞赛平台搜索 Food-101 手动下载压缩包然后自行解压到项目目录。下载完成后目录结构长这样food-101/ images/ apple_pie/ 1000649.jpg 1001270.jpg ... baby_back_ribs/ ... meta/ train.txt test.txtmeta文件夹里的train.txt和test.txt分别记录了官方划分好的训练集和测试集文件名列表。这个划分是固定的方便和其他人对比结果。2.3 数据量不够怎么办先做一个小型预实验我强烈建议你先不要直接上全量数据。第一次跑通流程时从每类里随机抽 20 到 50 张图片做一个“迷你食物分类任务”。这样做有三个好处验证代码逻辑没有 bug避免等了半天训练才发现预处理写错了。快速检验模型能不能在很小数据上过拟合——如果连过拟合都做不到说明代码有问题。摸清显存占用和训练速度再决定全量训练时 batch size 和 epoch 怎么设。这个“先跑通再放大”的思路是工程里非常实用的方式能帮你省下大量调试时间。3. 数据加载与预处理让模型真正“看懂”食物图片3.1 预处理的核心标准化深度学习模型并不直接“看”RGB 图片的原始像素值。以 PyTorch 为例输入模型的张量形状是(batch_size, 3, H, W)数值范围通常要归一化到[-1, 1]或[0, 1]附近。如果直接把 0 到 255 的像素喂给模型不仅训练不稳定而且收敛速度也会变慢。这里的关键是使用 ImageNet 数据集的均值和标准差做标准化from torchvision import transforms normalize transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] )为什么用这三个固定的数字因为预训练模型是在 ImageNet 上训练的它的输入分布就是按这个均值和标准差做的标准化。加载预训练权重后我们也必须用同样的参数做预处理否则模型拿到的输入分布和它“熟悉”的分布不一致效果会大幅下降。这是一个很多人忽略的细节。3.2 训练集和验证集的 transform 为什么不一样训练集和验证集的预处理必须区别对待。训练集需要数据增强验证集只需要固定尺寸缩放和标准化。我常用的 transform 配置如下# 训练集随机增强 标准化 train_transform transforms.Compose([ transforms.RandomResizedCrop(224), # 随机裁剪并缩放 transforms.RandomHorizontalFlip(), # 随机水平翻转 transforms.ColorJitter(brightness0.3, contrast0.3, saturation0.3), transforms.ToTensor(), normalize, ]) # 验证集/测试集只做固定尺寸缩放 valid_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), normalize, ])这里有几个值得注意的点RandomResizedCrop(224)会在图片上随机选取一块区域再缩放到 224x224。它的作用不仅是增强更是让模型学会关注食物的局部特征——比如只看到披萨的一角也能认出来。食物图片经常有多余背景、餐具遮挡这个增强能显著提升泛化能力。ColorJitter模拟不同餐厅灯光条件下颜色的差异。中餐偏暖黄、西餐偏冷白颜色变化如果模型适应不了会严重影响分类效果。验证集为什么不用随机裁剪而用CenterCrop因为验证集的目标是稳定评估同一张图每次进入验证流程都应该得到相同的预处理结果否则测试集上分数会抖动无法准确判断模型好坏。3.3 Dataset 与 DataLoaderPyTorch 的数据流水线PyTorch 里torchvision.datasets.ImageFolder是最好的入门选择。你只需要把图片按文件夹组织好它就能自动把每个文件夹名当作类别标签。from torchvision import datasets train_dataset datasets.ImageFolder( rootfood-101/images/train_selected, transformtrain_transform ) valid_dataset datasets.ImageFolder( rootfood-101/images/valid_selected, transformvalid_transform )ImageFolder的一个隐藏特性是它会按文件夹名称的字母顺序生成类别索引。所以你需要保存valid_dataset.class_to_idx映射预测阶段要用它把输出索引转回食物名称。DataLoader 的配置也需要讲究from torch.utils.data import DataLoader train_loader DataLoader( train_dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue ) valid_loader DataLoader( valid_dataset, batch_size32, shuffleFalse, num_workers4, pin_memoryTrue )shuffleTrue在训练时至关重要否则模型每个 epoch 看到的样本顺序完全一致容易产生不必要的偏置。num_workers是并行加载数据的进程数。Windows 上如果报错把它设为 0Linux 上设 4 到 8 都能显著提速。pin_memory在 GPU 训练时建议开启它能加快 CPU 到 GPU 的数据传输速度。Batch size 的选择直接与显存挂钩。32 是个对大多数显卡都比较安全的起步值如果遇到“CUDA out of memory”优先把它降到 16 或 8而不是盲目加大模型。4. 模型构建迁移学习到底改了什么4.1 用一行代码加载预训练模型PyTorch 的torchvision.models提供了大量现成模型这里用 ResNet50 作为示例import torchvision.models as models model models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V2)注意新版 PyTorch 里pretrainedTrue这种写法已经过时推荐使用weights参数否则会收到弃用警告。IMAGENET1K_V2 版本比 V1 的精度更高性能反而差不多建议直接用它。ResNet50 的结构可以简单理解为前面一大串卷积层负责提取视觉特征这部分的权重已经在 ImageNet 上训练好了最后接一个全连接层把特征映射到类别概率。对于 1000 类 ImageNet这个全连接层的输出是 1000 维而我们的食物任务只有 101 类所以需要替换最后一层。4.2 替换分类头迁移学习的关键一步num_classes 101 in_features model.fc.in_features # 通常是 2048 model.fc nn.Linear(in_features, num_classes)这里你可能会困惑为什么只换最后两层因为卷积层学到的特征边缘、纹理、形状是通用的——能识别自行车辐条的卷积核也能识别面条的纹理。真正需要重新学的是“怎么组合这些特征来判断是披萨还是寿司”这正是全连接层做的事。所以替换分类头就是让模型在保留基础特征能力的同时去适应我们的具体任务。4.3 冻结骨干 vs 全量微调迁移学习有两种常见策略策略一冻结骨干网络只训练分类头。把requires_grad设为 False 的层反向传播时不会更新权重。这样训练参数只有全连接层的几百万个扛不住大显存也能跑而且训练速度极快。适合数据量很少的场景。for param in model.parameters(): param.requires_grad False # 只让分类头可训练 for param in model.fc.parameters(): param.requires_grad True策略二全量微调。所有层都参与训练模型能更好地适应食物图片的“风格”但计算量大得多且需要更小的学习率一般是 1e-4 量级否则容易破坏预训练学到的特征。我建议的实操路线是先用策略一跑几个 epoch观察验证集准确率。如果分类头能很快达到 80% 左右说明骨干特征够用如果准确率停在某个值上不去再解冻最后几层卷积或全部层做微调。这种“从浅到深”的微调思路既稳定又高效。4.4 一个新手最容易犯的维度错误替换分类头时千万不要直接写nn.Linear(2048, 101)因为 ResNet50 最后一个卷积输出的特征维度在不同变体里可能不是 2048。最稳妥的做法是用代码读取in_features model.fc.in_features这种动态获取的做法能避免模型结构改动后忘记同步维度的低级错误。很多报错信息里出现的“size mismatch”有相当一部分就是这里写错了。5. 训练循环与超参数调优一次把模板写到能用5.1 完整的训练验证模板很多人第一次写 PyTorch 训练循环时会把训练和验证的逻辑混在一起导致状态混乱。这里给出一个清晰的模板建议直接保存下来复用import torch import torch.nn as nn import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) epochs 10 best_acc 0.0 for epoch in range(epochs): # 训练阶段 model.train() running_loss 0.0 correct 0 total 0 for inputs, labels in train_loader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() train_loss running_loss / total train_acc correct / total # 验证阶段 model.eval() val_loss 0.0 val_correct 0 val_total 0 with torch.no_grad(): for inputs, labels in valid_loader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) loss criterion(outputs, labels) val_loss loss.item() * inputs.size(0) _, predicted torch.max(outputs, 1) val_total labels.size(0) val_correct (predicted labels).sum().item() val_loss val_loss / val_total val_acc val_correct / val_total print(fEpoch {epoch1}/{epochs} | fTrain Loss: {train_loss:.4f} | Train Acc: {train_acc:.4f} | fVal Loss: {val_loss:.4f} | Val Acc: {val_acc:.4f}) if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth) print( - saved best model)这段模板有四个关键细节model.train()和model.eval()不能混。它们切换的是 BatchNorm 和 Dropout 的行为。验证阶段忘记调用model.eval()BatchNorm 会用训练时的统计量验证结果会偏高误导你对模型真实水平的判断。验证阶段必须包在with torch.no_grad()里。它告诉 PyTorch 不需要构建计算图省显存又能提速。每次反向传播前要调用optimizer.zero_grad()否则梯度会累加训练不稳定。这是新手最常犯的隐性错误之一。保存模型权重用model.state_dict()而不是整个model对象。前者只保存参数文件更小加载也更灵活。5.2 损失函数和优化器的选择逻辑分类任务的标准损失函数是nn.CrossEntropyLoss()。它内部已经包含了 Softmax 操作所以你不需要在模型输出上再手动加一层 Softmax。直接拿模型输出的原始 logits 和整数标签算损失就行。这一点搞清楚了很多关于“要不要加 softmax”的困惑就自然消失了。优化器首选 Adam。它对学习率不敏感收敛速度快非常适合入门。lr1e-3是一个通用起点。如果你做全量微调建议降到1e-4因为此时更新的权重包含预训练好的骨干学习率太大容易破坏原有特征。相关的安全做法是把骨干参数的学习率设小、分类头参数的学习率设大这在 PyTorch 里可以通过传入不同的参数组实现。5.3 学习率调整策略别让模型在最优解附近反复横跳固定学习率训练时模型后期容易在损失函数的最低点附近来回震荡验证集准确率会出现“上上下下”的抖动。最实用的办法是用学习率调度器from torch.optim.lr_scheduler import StepLR scheduler StepLR(optimizer, step_size5, gamma0.1)每 5 个 epoch 把学习率乘以 0.1。或者用 CosineAnnealingLR它会让学习率按余弦曲线从初始值平滑降到接近 0在微调阶段效果很好。训练时每个 epoch 结束后调用scheduler.step()即可。如果你不太确定怎么调可以先不做任何学习率调整固定 1e-3 跑完 10 个 epoch观察曲线再决定。先跑通再优化这个顺序永远不会错。5.4 训练策略上的实操经验先验证代码再扩大规模第一次跑实验时建议不要直接上全量数据而是用每个类别 20 到 50 张的迷你数据集。跑通整个流程后你会对训练速度、显存占用、损失下降趋势有一个直观感受。之后再逐步扩大数据量模型效果会稳步提升。另外设置固定随机种子能让实验可复现import random import numpy as np def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)这个习惯在调参时非常有用——否则每次代码运行的结果都不一样你根本分不清一个改动是带来了提升还是单纯运气好。6. 评估与预测准确率不是唯一指标6.1 混淆矩阵看清模型到底在哪些类上犯迷糊准确率只能告诉你“答对了百分之多少”但不能告诉你“哪些类容易互相搞混”。比如汉堡和芝士汉堡模型如果总是把它们两个混淆纯看准确率你会发现不了这个规律。这时候你需要混淆矩阵Confusion Matrix。对 101 个类别画完整混淆矩阵会非常庞大实操中通常只关注错误率最高的前几组。我用 pandas 做过一个简单的错误分析把所有验证集预测结果和真实标签对齐选出“真实类别是 A、预测类别是 B”数量最多的几对。食物分类里常见的混淆小组有不同做法的同一种食材如“烤鸡”和“炸鸡”外观接近的菜品如“寿司卷”和“春卷”摆盘遮挡导致关键食材不可见的菜品这个分析能给你两个启示一是哪些数据不足需要补充采样二是哪些类别本身标注就有歧义需要考虑合并。6.2 Top-5 准确率更符合食物识别场景的指标标准 Top-1 准确率要求模型第一预测就对。但对食物分类来说这张图如果是“汉堡”模型给出前三名是“芝士汉堡”“汉堡”“牛肉饼”其实已经非常合理。这时候看Top-5 准确率更有意义只要真实类别出现在前五个预测里就算预测正确。实现非常简单outputs model(inputs) _, pred_top5 outputs.topk(5, 1, True, True)我跑 Food-101 时的典型结果是Top-1 大约 85%Top-5 能到 96% 左右。这个差距说明模型大部分时候“已经在正确答案附近了”只是最细粒度的区分还欠缺。对于很多实际场景Top-5 完全够用——你可以让用户从 5 个候选中选择。6.3 单张图片预测把训练好的模型用起来训练完成后最终要写一个预测函数对任意一张食物图片输出类别。完整流程如下from PIL import Image def predict_image(image_path, model, class_names, device): # 1. 读取并预处理图片 image Image.open(image_path).convert(RGB) image_tensor valid_transform(image).unsqueeze(0).to(device) # 2. 模型前向推理 model.eval() with torch.no_grad(): outputs model(image_tensor) probs torch.softmax(outputs, dim1) # 3. 取 Top-3 结果 top_probs, top_indices probs.topk(3, dim1) top_probs top_probs[0].cpu().tolist() top_indices top_indices[0].cpu().tolist() for i in range(3): idx top_indices[i] print(f{class_names[idx]}: {top_probs[i]:.4f}) return class_names[top_indices[0]]有几个容易被忽略的点单张图片也要unsqueeze(0)把形状从(3, H, W)变成(1, 3, H, W)因为模型在训练时看到的都是带 batch 维度的数据。预测时要把model设为.eval()模式但不需要.to(device)之外的任何特殊处理。如果想输出概率而不是 logits需要手动调用torch.softmax因为 CrossEntropyLoss 内部的 softmax 并不会改变模型输出——模型输出永远是 logits。class_names来自valid_dataset.classes它和训练时的类别索引一一对应。6.4 错误样本的共性规律把预测错误的图片集中看一轮你会发现很多错误并不是模型“太笨”而是图片本身有歧义食物被手遮挡了一半、多道菜出现在同一画面、食物经过深度油炸后颜色纹理高度相似。这时候不要急着调模型先看数据。如果错误样本集中在光线昏暗的场景可以加大 ColorJitter 的强度如果集中在某个特定类别说明需要补充那一类的训练数据。这类“先看错例再决定下一步”的思路比盲目调参有效得多。我见过不少朋友花大量时间调网络结构最后发现瓶颈其实在数据增强策略上非常可惜。7. 零基础最容易踩的坑一张清单帮你避开训练过程中我几乎见过所有新手会犯的错误这里整理成一份排错清单遇到问题时直接对照检查。常见问题原因解决方案CUDA out of memorybatch size 过大或输入尺寸过大减小 batch size使用 Resize 而不是直接加载原图size mismatch 报错替换分类头时维度写错用model.fc.in_features动态获取输入维度验证准确率远低于训练准确率训练验证 transform 混用、或忘记model.eval()确保验证用固定 resize center crop并调用model.eval()运行缓慢数据加载没有并行、或数据没放到 GPUnum_workers调高确认输入调用了.to(device)损失不下降学习率太大或太小尝试 1e-3、1e-4、3e-4 三个量级训练结果不可复现没有固定随机种子设置全局随机种子自动下载数据集失败网络不稳定手动下载数据并按照目录结构解压预测时类别标签与训练不一致未保存 class_to_idx 映射保存valid_dataset.class_to_idx预测时用同一映射另外再补充两个“不常见但一旦遇到就很头疼”的坑DataLoader 的num_workers在 Windows 多进程环境下偶尔会卡死。如果遇到这种情况尝试把它设为 0或者在代码里加上if __name__ __main__:保护训练入口。使用pin_memoryTrue之前确认你的 GPU 支持 CUDA。纯 CPU 训练时开启不会报错但也不会带来明显提升不必执着。除了上面这些错误我在实际带教中还有一个经验让刚入门的同学先把 batch size 设为 1 跑一个 batch用print(outputs.shape)确认输出形状符合预期再做全量训练。这一步能提前暴露 80% 的维度错误和数据处理问题比训练到一半再排查节省太多时间。8. 项目落地如何把验证集效果变成真实可用的能力8.1 数据切分的细节Food-101 官方提供了 train.txt 和 test.txt但如果你只用官方的 train 来训练很容易过拟合到验证集上——因为你在反复用同一组数据调参。我建议把官方 train 按 9:1 再切一部分出来当作真正的验证集只有在最终评估时才碰官方 test。这样能有效避免“模型记住了验证集”的假象。切分时按类别分层采样保证每个类别在训练和验证里的比例一致import os import random import shutil from collections import defaultdict def split_dataset(source_dir, train_dir, val_dir, val_ratio0.1, seed42): random.seed(seed) for class_name in os.listdir(source_dir): class_path os.path.join(source_dir, class_name) if not os.path.isdir(class_path): continue images os.listdir(class_path) random.shuffle(images) val_count int(len(images) * val_ratio) os.makedirs(os.path.join(train_dir, class_name), exist_okTrue) os.makedirs(os.path.join(val_dir, class_name), exist_okTrue) for i, img in enumerate(images): src os.path.join(class_path, img) if i val_count: dst os.path.join(val_dir, class_name, img) else: dst os.path.join(train_dir, class_name, img) shutil.copy(src, dst)8.2 从“准确率不错”到“实际能用”的差距验证集准确率 85%听起来不错但真实场景中的表现往往要打个折扣。原因在于真实图片的分布和数据集不完全一致手机图片有滤镜、有表情贴纸摄像头截图可能是俯拍或广角畸变食物摆盘可能混入餐具和人手。要让模型真正可用光靠调模型是不够的收集和场景匹配的真实图片加入训练比调整网络结构更有效。用错误样本做针对性增强比如某个类别总是因为光线不足出错就重点增强那里的暗光样本。考虑在模型输出端加一个“拒识”机制如果 Top-1 概率低于阈值则返回“不确定”而不是硬给一个答案。这在真实应用中能大幅提升用户体验。8.3 后续还能怎么扩展这个项目做好之后至少有三个自然延伸方向换更强的骨干网络比如 EfficientNet、ConvNeXt看看能涨多少点。使用训练好的模型做迁移学习的“特征提取器”把图片映射成向量再做聚类或检索实现“以图搜菜”。用 ONNX 导出模型部署到手机或边缘设备上做一个真正的“拍照识菜”应用。每一步的代码量都不大但能帮你把分类项目拓展到推荐、检索、部署等更有价值的场景。我个人带过的学员里很多都是从这个小项目出发一步步走向了目标检测或模型部署方向——因为有了完整项目经验打底后面学新任务会顺很多。最后分享一点自己的感受食物分类在视觉任务里属于门槛适中、天花板很高的方向。门槛适中的意思是零基础用预训练模型加微调一两天就能看到不错的可视化结果天花板高是指要把细粒度差异真正拿捏准数据、增强、模型、评估每一项都需要钻研。先把这个流程跑通你会发现自己对 PyTorch 的整体理解会上一个台阶——关于张量形状、模型状态、训练验证逻辑这些底层直觉一旦建立后面学什么都快。