简介这份PDF面向计算机视觉入门者与跨领域学习者系统梳理CV的核心知识框架帮助读者在较短时间内建立从图像获取到高层语义理解的完整认知。内容围绕图像获取、前期处理、特征提取、图像分析与图像解释五个基本步骤展开并逐一讲解图像分类、物体检测、图像分割、场景理解、人脸识别、姿态估计、光流估计与立体视觉等任务类型同时结合图像搜索、视觉安防、医学影像、自动驾驶与农业图像分析等场景说明落地方式。资源包共1个PDF文件约483KB篇幅精炼、结构清晰适合作为课程预习、技术汇报或方向调研的速查材料。已有175人学习读者可从中获得任务分类脉络、传统方法与CNN等深度学习方法的对照以及各任务的典型应用边界便于后续按需深入。1. 计算机视觉为什么“看懂”比“看见”难得多摄像头每秒钟能采集成千上万个像素但把这些像素变成“这里有一只猫、它正在跳”这样的判断中间隔着一整套从信号到语义的推理链条。计算机视觉CV要解决的核心问题不是获取图像而是从二维的、带噪声的、光照多变的像素阵列里稳定地推断出三维世界中物体是什么、在哪里、在做什么。这件事之所以值得搞懂是因为几乎所有 CV 任务的性能瓶颈都不在“模型不够大”而在对这条链条上每一环的假设是否成立缺乏认知。图像分类、物体检测、图像分割、场景理解、人脸识别、姿态估计、光流估计、立体视觉这八类任务看似并列实际上是从“整张图给一个标签”到“每个像素给一个标签”再到“恢复三维结构”的语义密度递增。理解这条密度递增的轴线比记住任何一个网络结构都更有迁移价值。这份 CV 简要介绍把整条链路拆成图像获取、前期处理、特征提取、图像分析、图像解释五步正好是理解上述任务为何这样设计的入口。2. 五步流水线从像素到语义的每一环在赌什么2.1 图像获取与前期处理所有后续误差的源头图像获取决定了信息的上限。传感器分辨率、通道数RGB、红外、深度、曝光时间这些参数一旦定下来后面所有算法都只能在这个信息量里做文章。前期处理阶段做校正、去噪、增强本质上是在补偿获取阶段的物理缺陷镜头畸变让直线变弯传感器热噪声让平坦区域出现随机颗粒光照不均让同一物体在不同位置呈现不同灰度。常见的实现思路是校正用标定得到的畸变系数做反向映射去噪用高斯滤波或双边滤波在平滑和保边之间取舍增强用直方图均衡化拉开对比度。这里有一个容易被忽略的机制去噪和特征提取是相互对抗的。滤波越强噪声越少但边缘也被抹平后续边缘检测的响应会变弱。所以前期处理不是“越干净越好”而是“在保留任务相关特征的前提下尽量干净”。这个取舍在医学影像里尤其明显微小病灶的边界往往和噪声处于同一尺度过度去噪等于直接把目标删掉。2.2 特征提取手工描述子与 CNN 学习到的到底差在哪传统特征提取依赖人工设计的描述子边缘用 Sobel 或 Canny 算子对灰度梯度做阈值和连接纹理用灰度共生矩阵统计像素对的空间关系颜色用直方图统计各通道的分布。这些描述子的共同特点是它们编码的是“人认为有用”的局部统计量泛化性来自设计者的先验而不是数据。卷积神经网络换了一条路卷积核的权重不再由人写死而是通过反向传播从大量标注数据里学出来。浅层卷积学到的接近边缘和颜色斑块深层卷积组合出部件和物体级别的响应。这个“层次化特征”的机制解释了为什么 CNN 在图像分类上能大幅超越手工特征它把特征设计和分类器训练放进了同一个优化目标里特征朝着“让分类损失最小”的方向演化而不是朝着“人觉得有区分度”的方向演化。代价是它对训练数据的分布敏感换一个域比如从白天街景换到夜间红外学到的特征可能整体失效这也是后面避坑章节要展开的点。2.3 图像分析与解释分类、检测、分割的语义密度阶梯图像分析层承担的是“把特征变成任务输出”。图像分类输出一个类别分布用 softmax 把全连接层的 logits 归一化成概率取最大者作为预测。物体检测在分类之外多了一个位置回归典型流程是候选区域生成、区域分类、边界框回归、非极大值抑制NMS去重。NMS 的机制值得单独说它按置信度排序保留最高分框删掉与它交并比超过阈值的其余框本质是用一个贪心策略近似“每个物体只留一个框”的约束。图像分割把粒度推到像素级基于阈值的方法赌的是目标和背景灰度可分基于区域的方法赌的是同物体像素在颜色纹理上连通基于边缘的方法赌的是轮廓处梯度突变基于图割的方法把像素当节点、相似性当边权用最小割求全局最优划分基于深度学习的方法FCN、U-Net则直接用卷积做逐像素分类。图像解释再往上走一层做物体识别、关系理解、行为分析这一层没有统一的数学形式更多是把检测和分割的结果组织成结构化描述。整条阶梯的规律是语义密度越高对前期特征和上下文建模的依赖越重单靠局部信息越不够用。3. 经典网络演进ResNet 的残差到底解决了什么3.1 从 LeNet-5 到 GoogLeNet深度和宽度的两条扩张路线LeNet-5 是最早的卷积网络之一用于手写数字识别结构是卷积、池化、全连接的小规模堆叠它证明了卷积权值共享在图像上的有效性。AlexNet 把深度和参数量同时拉大并用 ReLU 替代饱和激活、用 Dropout 抑制过拟合成为深度学习在图像分类上的转折点。VGGNet 的思路是把大卷积核全部换成 3×3 小核堆叠两个 3×3 的感受野等于一个 5×5但参数更少、非线性更多这个设计让“深”变得可控。GoogLeNet 的 Inception 模块走的是宽度路线在同一层并行用 1×1、3×3、5×5 卷积和池化再把结果拼接1×1 卷积先做通道降维把计算量压下来。这几代的共同逻辑是在算力约束下用结构设计换取更深的网络和更强的特征表达能力。3.2 残差连接恒等映射为什么让深层网络可训练网络越深理论上表达能力越强但实践中会出现退化问题训练误差不降反升而且不是过拟合造成的。ResNet 给出的解释是让一堆非线性层去拟合一个恒等映射并不容易而如果给网络加一条捷径把输入直接加到输出上那么这些层只需要拟合“残差”也就是输出与输入的差。当最优解接近恒等映射时残差接近零优化难度大幅下降。用公式表达就是输出等于输入加上残差函数反向传播时梯度可以通过捷径无损地回传缓解了梯度消失。这个机制的代价是特征通道数变化时需要额外的投影卷积来对齐维度。我一般会这么理解残差连接不是“让网络更深”的技巧而是“让深层网络的优化问题变得和浅层网络一样容易”的结构性修正。# 残差块的核心逻辑示意非完整实现 import torch import torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, in_channels, out_channels, stride1): super().__init__() # 主路径两层 3x3 卷积中间带 BN 和 ReLU self.conv1 nn.Conv2d(in_channels, out_channels, 3, stride, 1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, 3, 1, 1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) # 捷径维度或步长不一致时用 1x1 卷积对齐 self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: self.shortcut nn.Sequential( nn.Conv2d(in_channels, out_channels, 1, stride, biasFalse), nn.BatchNorm2d(out_channels) ) def forward(self, x): out torch.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out self.shortcut(x) # 恒等映射或投影后相加 return torch.relu(out)上面这段代码里stride控制空间下采样in_channels ! out_channels判断是否需要投影捷径out self.shortcut(x)就是残差相加的位置。关键参数是卷积的biasFalse因为后面紧跟 BatchNorm偏置会被归一化抵消省掉可以减少参数。失败时优先看捷径分支的维度是否和主路径输出一致维度不匹配会在相加时报错这是实现残差块最常见的翻车点。4. 分割与三维感知阈值、图割、光流、立体视觉的假设边界4.1 图像分割五类方法每种方法都在赌一个先验基于阈值的分割赌目标和背景灰度可分阈值可以来自直方图双峰之间的谷底也可以来自大津法自动选取适用场景是二值化图像或对比明显的简单任务一旦光照不均就失效。基于区域的分割赌同物体像素在颜色、纹理、亮度上相似且连通区域生长从种子点出发合并相似邻域分水岭算法把梯度图当地形找积水盆地均值漂移在特征空间做密度聚类适合自然风景和医学图像但对种子点选择和参数敏感。基于边缘的分割赌轮廓处梯度突变Canny 做高斯平滑、梯度计算、非极大值抑制、双阈值连接适合需要精确轮廓的场景但边缘断裂和伪边缘是常态。基于图割的分割把像素建图、相似性建边用最小割求全局最优GrabCut 在此基础上引入前景背景的颜色模型迭代适合复杂场景的精确分割代价是计算量随像素数增长。基于深度学习的分割用 FCN 把全连接层换成卷积实现任意尺寸输入的逐像素分类U-Net 用编码器解码器加跳跃连接保留细节适合医学影像和自动驾驶语义分割前提是有足量像素级标注。4.2 光流与立体视觉亮度恒定和视差如何恢复运动与深度光流估计的核心假设是亮度恒定同一像素在相邻帧之间运动时亮度不变。在这个假设下像素的位移和亮度梯度之间满足一个线性方程但一个方程有两个未知数水平和垂直位移这就是孔径问题只能加约束求解。Lucas-Kanade 加的是局部窗口内运动一致的假设用最小二乘解稀疏光流Horn-Schunck 加的是全局平滑性约束最小化亮度误差和平滑项的能量函数得到稠密光流金字塔方法把图像缩放到多个尺度解决大运动下线性假设失效的问题。立体视觉走的是另一条路同一物体在左右两个视角下成像位置有视差视差越大距离越近通过立体匹配找到左右图对应像素、计算视差、结合相机标定得到的内外参就能生成深度图。这里的机制关键是相机标定内参焦距、畸变和外参位置、朝向不准视差转深度的比例就整体偏移深度图会系统性失真。光流和立体视觉的共同点是都依赖“对应关系”的估计区别是一个在时间维度找对应一个在空间维度找对应。5. 避坑与排查CV 流水线上最容易翻车的几处5.1 训练集和测试集分布不一致指标虚高现象是离线验证集准确率很高一上线就明显下降。原因是训练数据采集条件和实际部署条件不同光照、角度、设备、背景分布都变了模型学到的是训练域的特征而不是任务的本质特征。解决方式是在采集阶段就覆盖部署场景的多样性做域随机化增强并在上线前用真实场景数据做一次独立评估不要只看同分布验证集。5.2 去噪过度导致小目标特征被抹掉现象是前期处理加了较强的滤波后检测小目标的召回率下降。原因是滤波在压制噪声的同时也平滑了目标边缘小目标本身像素少边缘一糊就和背景混在一起。解决方式是针对目标尺度选择滤波核大小或者改用保边滤波双边滤波、引导滤波并在预处理前后对比特征响应确认目标区域没有被过度平滑。5.3 NMS 阈值设置不当造成密集目标漏检现象是物体检测在密集场景下漏掉相邻目标。原因是 NMS 的 IoU 阈值设得过低两个真实相邻物体的框重叠超过阈值低分框被误删。解决方式是适当提高 IoU 阈值或改用 Soft-NMS 按重叠程度衰减分数而不是直接删除密集场景下还可以结合分割结果做后处理。5.4 相机标定误差让深度图整体偏移现象是立体视觉生成的深度图在近距离区域偏差明显。原因是标定用的棋盘格图像覆盖范围不足或者标定后相机发生位移没有重新标定内外参失准。解决方式是标定时覆盖整个视场和不同距离部署后定期复标并用已知距离的参照物验证深度读数。5.5 光流在大运动场景下估计断裂现象是视频中快速运动的物体光流场出现大片错误。原因是亮度恒定假设在大位移下不成立单尺度算法无法捕捉超过窗口范围的位移。解决方式是引入图像金字塔做由粗到细的估计或改用学习型光流模型并在预处理阶段评估帧间位移是否超出算法可处理范围。6. 设计取舍为什么没有一种 CV 方法能通吃所有任务把上面这些任务放在一起看会发现一个反复出现的模式每一种方法都在用某个先验假设换取计算效率或精度。阈值分割用灰度可分换简单快速图割用全局最优换计算量CNN 用数据分布换泛化能力光流用亮度恒定换可解性立体视觉用标定精度换深度可靠性。这些假设在各自适用场景内成立一旦越界就失效所以工程上的正确做法不是寻找“最强模型”而是先明确任务对语义密度、实时性、标注成本、部署环境的约束再选假设最匹配的方法。验证一个 CV 方案是否可靠我习惯做三件事用独立于训练分布的数据做一次盲测检查前期处理是否损伤了任务相关特征确认几何类任务立体视觉、姿态估计的标定和坐标系转换没有系统性偏差。这三步能挡掉大部分“离线好看、上线翻车”的情况。从那以后我每次拿到一个新的 CV 流程都强制先把数据分布和假设边界过一遍再谈模型选型。希望帮到你。本文还有配套的精品资源点击获取