1. 为什么我要做一期计算机视觉方向的论文速递做研究的人都有一个共同的痛点每天新挂出来的论文实在太多了光是计算机视觉这个方向几个主流预印本平台一天就能更新上百篇。你不可能每篇都点开看但你又怕错过真正重要的东西。我自己在读研和后来做项目的那几年养成了一个习惯——每周固定花两三个小时把这一周里计算机视觉领域值得关注的论文筛一遍做成一份自己的速递笔记。时间久了身边不少同学和同事都来问我要这份笔记后来干脆整理成公开分享的形式也就是你现在看到的这个学术速递系列。这一期的日期标记是6月22日我按惯例把最近一段时间计算机视觉方向的新论文过了一遍挑出我认为在方法上有新意、在实验上够扎实、或者对工程落地有直接参考价值的那一批分成几个主题来聊。需要先说明的是这不是一篇论文翻译合集我不会把摘要逐句翻给你听——那种东西你自己用翻译工具两分钟就搞定了。我要做的是告诉你这篇论文到底解决了什么问题它的核心思路是什么为什么这个思路值得你花时间以及如果你要复现或者借鉴应该从哪个地方下手。这份速递适合几类人看。第一类是在读的研究生尤其是刚进组、还在找方向的同学你需要快速建立对领域前沿的感知第二类是一线算法工程师你未必有时间追论文但你需要知道哪些新方法可能改变你手头的技术选型第三类是对计算机视觉有兴趣、想保持输入的自学者。不管你是哪一类我的目标都是让你读完这一篇能对当前这个时间点上计算机视觉的几个活跃方向有一个清晰的轮廓而不是被一堆术语淹没。下面我会按主题展开每个主题里挑几篇有代表性的工作讲清楚它们的来龙去脉。我会尽量少用公式多用类比和实际场景来解释但该有的技术细节一个都不会省。2. 视觉基础模型这条线最近在卷什么2.1 从更大转向更会算的范式变化过去两三年视觉基础模型的主旋律基本就是堆参数、堆数据、堆算力谁的模型大谁就有话语权。但这一期我读下来一个很明显的感受是单纯比大小的阶段正在过去大家开始比怎么把算力花得更聪明。有几篇工作都在做同一件事——在推理阶段动态决定要激活多少计算量而不是所有输入都走同一个完整的前向过程。这个思路其实不新鲜早几年在分类任务上就有人做过动态网络但那时候的效果提升有限因为分类任务本身太简单动态省下来的计算量不够诱人。现在不一样了视觉基础模型被用到检测、分割、深度估计、多模态对齐这些重任务上输入之间的难度差异非常大。一张干净的正面人脸和一张拥挤街景模型需要的计算量根本不是一个量级。如果能让模型自己判断这张图简单我少算点这张图复杂我多算点平均下来能省掉相当可观的开销。我看到的几篇代表性工作核心机制大同小异在网络的若干层插入一个轻量的路由器模块它根据当前特征判断是否需要跳过后续的某些块或者是否需要走一条更宽的分支。训练的时候用某种形式的稀疏正则或者强化学习来约束路由决策避免模型偷懒把所有输入都判成简单。实测数据上在保持精度基本不掉的前提下平均计算量能降到原来的六成到七成。这个数字放到实际部署里是很有意义的尤其是端侧或者需要处理大量请求的服务端场景。提示如果你打算复现这类动态计算的工作最容易踩的坑是路由器的训练不稳定。我建议先把路由器冻结、只训主干等主干收敛了再联合微调这样收敛曲线会平滑很多。2.2 自监督预训练里被忽视的数据质量维度另一个让我眼前一亮的点是有工作开始认真讨论自监督预训练的数据质量问题。之前大家默认的逻辑是自监督不需要标注所以数据越多越好网上能爬多少就爬多少。但实际情况是海量无标注数据里充斥着大量低质量、重复、甚至噪声严重的样本这些样本不仅不贡献有效信号还会拖慢训练、带偏表征。这一期有篇工作做了一个很系统的消融他们用不同的数据筛选策略构造了若干个子集在相同的训练预算下对比下游任务的迁移效果。结论很有意思——用经过筛选的、规模只有原来三分之一的子集预训练出来的模型在下游检测和分割任务上反而更好。这说明数据质量这个维度之前被严重低估了。他们用的筛选策略并不复杂主要是基于图像清晰度、类别分布的均衡性、以及去重后的多样性指标组合起来做一个打分然后按分数采样。这个发现对工程实践的启发很直接如果你手头有大量无标注数据准备做自监督预训练别急着全喂进去先花点时间做数据清洗和筛选投入产出比可能比你调模型结构还高。我自己在之前的项目里也吃过这个亏当时图省事把爬来的几十万张图直接丢进去训结果模型学了一堆奇怪的纹理偏好后来重新筛了一遍数据才把问题解决。2.3 多模态对齐中的模态鸿沟怎么填视觉基础模型现在很少单独存在了基本都要和文本或者其他模态做对齐。这一期有几篇工作专门在啃多模态对齐里的硬骨头——模态鸿沟。简单说图像的特征分布和文本的特征分布天然就不在一个空间里强行用一个对比损失把它们拉到一起往往会牺牲掉各自模态内部的结构信息。有篇工作的做法我觉得挺巧妙它不追求把两个模态映射到完全相同的空间而是学一个桥接表示让图像和文本都能映射到这个中间表示上同时保留各自模态的几何结构。具体实现上他们用了两个独立的编码器加一个共享的投影头损失函数里除了常规的对比损失还加了一项保持模态内相似度结构的正则。这样一来图像和文本在共享空间里对齐了但图像内部的邻域关系、文本内部的语义关系都没有被破坏。实测下来在检索和零样本分类这两个经典评测上这个方法比直接对比学习的方法有稳定提升尤其是在细粒度检索上提升更明显。我觉得这个思路的价值在于它承认了一个事实不同模态的信息结构本来就不一样强行统一未必是最优解保留差异再找连接点可能更合理。3. 目标检测与分割老任务里的新解法3.1 检测器对小目标的执念终于有了新出口小目标检测是目标检测里公认的老大难。目标小经过骨干网络下采样之后特征图上就剩几个像素信息损失严重。传统的做法是多尺度特征融合把浅层的高分辨率特征和深层的语义特征拼起来。但这个方法有个天花板浅层特征虽然分辨率高但语义信息弱拼进来之后反而可能引入噪声。这一期有篇工作换了个角度想问题。它不去强行融合浅层特征而是在训练阶段就让模型学会放大看小目标区域。具体来说他们在训练时对包含小目标的区域做了一种自适应的裁剪放大然后让模型同时看原图和放大图用一致性损失约束两个视图的预测结果。推理的时候不需要额外操作模型已经学会了在小目标上分配更多注意力。这个思路的好处是不增加推理开销纯粹是训练策略的改进落地成本很低。我在自己的数据上试过类似的做法确实对小目标召回有提升但要注意裁剪放大的比例不能太大否则放大后的目标和背景的比例会失真反而让模型学到错误的尺度先验。一般放大两到三倍是比较安全的范围。3.2 分割任务里边界模糊问题的工程化处理语义分割和实例分割里物体边界附近的像素永远是最难分的。一个像素到底属于前景还是背景在边界区域往往连人眼都难以判断。学术上大家习惯用更精细的损失函数、更高分辨率的特征图来缓解但工程上这些手段的代价都不小。这一期有篇工作提出了一种边界感知的标签松弛策略。它的核心想法是既然边界像素本身就有歧义那就不应该用硬标签去逼模型做非黑即白的判断。他们在边界区域引入了一个软标签允许模型在边界附近有一定的模糊空间同时用一个额外的边界预测头来专门学习边界的位置。训练完成后边界头可以帮助后处理阶段做更精细的边界修正。这个方法在几个公开数据集上把边界区域的IoU提升了几个百分点整体指标也有小幅上涨。我觉得它的工程价值在于边界处理可以作为一个独立的模块插到现有分割流程里不需要重新设计整个网络。如果你手头的分割项目对边界精度有要求这个思路值得试一试。3.3 开放词汇分割从能分到分得准的进步开放词汇分割是这两年很热的方向目标是让模型能分割出训练时没见过的类别。之前的做法基本是靠视觉-语言模型提供的对齐能力把文本嵌入和像素嵌入做匹配。但实际用起来你会发现模型确实能分出没见过的类别但分得不够准尤其是类别名称比较抽象或者有歧义的时候。这一期有篇工作的改进点在于它引入了一个类别描述增强的环节。不是只用类别名称去做文本嵌入而是用大语言模型生成一段关于该类别的详细描述然后用这段描述去做对齐。比如狗这个类别描述里会包含四条腿、有毛、常见宠物这些属性模型对齐的时候就有更多线索。实测下来在几个开放词汇分割基准上这个方法对稀有类别和细粒度类别的提升特别明显。这个思路其实反映了一个更大的趋势视觉任务正在越来越多地借助语言模型的世界知识。你不需要自己标注数据语言模型已经帮你把类别的语义信息编码好了你只需要想办法把它有效地注入到视觉模型里。4. 生成模型与三维视觉的交叉地带4.1 三维重建对生成先验的借用越来越自然三维重建和生成模型这两个方向以前基本是各玩各的。重建关心几何精度生成关心视觉真实感。但这一期我看到好几篇工作都在做同一件事用生成模型的先验来辅助三维重建尤其是在稀疏视角或者单图重建的场景下。逻辑是这样的从少量视角重建三维结构本质上是一个欠约束问题很多细节无法从输入中确定。这时候如果有一个强大的生成先验知道一个正常的椅子应该长什么样就可以把缺失的部分合理地补出来。具体实现上有工作用预训练的二维扩散模型作为先验在重建过程中不断用扩散模型对渲染出来的视图做合理化引导几何优化往更符合自然图像分布的方向走。这个方向我觉得潜力很大因为它把两个领域的优势结合起来了。但目前的局限也很明显生成先验有时候会脑补过头把输入里本来有的细节也改掉。怎么在补全和保真之间找平衡是接下来要解决的核心问题。4.2 神经辐射场之后三维表示还在演化神经辐射场刚出来的时候大家都觉得三维视觉的表示问题被解决了。但用久了就发现它的训练慢、渲染慢、对动态场景支持差这些问题一直没有特别好的解决方案。这一期有几篇工作分别在攻这几个点。有篇工作提出了一种混合表示把场景分成静态部分和动态部分静态部分用传统的辐射场表示动态部分用一组可学习的变形场来建模。这样静态部分的训练可以充分并行动态部分参数量也控制得住。实测在动态场景重建上训练时间比纯辐射场方法缩短了不少渲染质量还略有提升。另一篇工作则在渲染效率上下功夫它用一种层次化的采样策略对场景中空旷的区域少采样对物体表面附近多采样。这个思路和前面说的动态计算有点像都是把计算资源往信息密度高的地方倾斜。渲染速度提升很明显在消费级显卡上能做到接近实时的交互。4.3 三维生成的可控性从随机生成到按需生成三维生成这两年进步很快但早期的作品基本是随机生成你给一个噪声它给你一个三维模型至于生成什么你控制不了。这一期有篇工作专门在解决可控性的问题它允许你用文本、草图、甚至部分三维结构作为条件来引导生成。技术上的关键是如何把不同模态的条件统一到一个生成框架里。他们的做法是训练一个条件编码器把文本、草图、部分结构都映射到同一个条件空间然后用这个条件去调制生成过程。这样一来你给什么形式的条件都行模型都能理解。实测下来文本引导的生成质量最高草图次之部分结构引导的精度最好但灵活性稍差。这个方向对实际应用的意义很大。做游戏或者影视的人经常需要按特定的设定生成三维资产随机生成的东西没法直接用。可控生成才是真正能落地的形态。5. 从论文到代码我筛选速递内容的标准5.1 我判断一篇论文值不值得读的几个信号做了这么多期速递我慢慢形成了一套自己的筛选标准。分享出来也许对你追论文有帮助。第一个信号是看它有没有开源代码。这不是说没开源的工作就没价值而是对于工程导向的读者来说有代码的工作复现成本低很多你能快速验证它的效果是不是真的像论文里说的那样。我一般会优先关注那些在论文里就附了代码链接的工作。第二个信号是看实验部分有没有做充分的消融。一篇工作如果只报告了最终指标没有告诉你每个模块分别贡献了多少那它的可信度就要打折扣。好的工作会把每个设计选择的贡献拆得清清楚楚让你知道哪个部分是真正起作用的。第三个信号是看它有没有在多个数据集上验证。只在单一数据集上刷高分的论文过拟合的风险比较大。如果一个方法在好几个不同分布的数据集上都有稳定提升那它的泛化能力就更可信。第四个信号是看它的方法复杂度。有些工作为了提升一两个点引入了极其复杂的多阶段训练流程这种工作即使指标好看工程上也不实用。我更喜欢那些思路简洁、改动小但效果明显的工作。5.2 读论文时怎么快速抓住核心很多同学读论文喜欢从头读到尾摘要、引言、相关工作、方法、实验一个不落。这样读当然扎实但效率太低一天读不了几篇。我的做法是分三步走。第一步先看摘要和结论搞清楚这篇论文声称解决了什么问题、达到了什么效果。这一步花两分钟如果问题我不感兴趣或者效果提升不明显直接跳过。第二步看图。论文里的框架图和主要实验结果图往往比文字更能说明问题。框架图告诉你方法的整体结构结果图告诉你它在什么任务上、比谁好、好多少。这一步花五分钟如果框架图看懂了、结果图有说服力再进入第三步。第三步精读方法部分和实验的消融部分。这时候你已经知道这篇论文值得花时间了再仔细看它的技术细节理解每个设计选择的动机。这一步可能花二十分钟到半小时但只花在真正重要的论文上。这套流程下来我一天能筛几十篇论文其中精读的也就三五篇效率比从头读到尾高得多。5.3 把论文方法迁移到自己项目里的注意事项最后聊聊怎么把论文里的方法用到自己的项目里。我见过太多人直接照搬论文的代码结果在自己的数据上效果一塌糊涂然后得出结论说论文是假的。其实问题往往不在论文而在迁移的方式。第一要搞清楚论文方法的适用条件。很多方法在论文里效果好是因为它的实验设定有特定的前提比如数据分布比较干净、类别比较均衡、图像分辨率比较统一。你的项目数据如果不符合这些前提直接套用当然不行。迁移之前先对照一下自己的数据和论文的实验设定看看差距在哪里。第二要做小规模验证。别一上来就在全量数据上跑先拿一小部分数据快速验证一下方法的基本思路在你的场景下是否成立。如果小规模上就没效果大规模上大概率也不会有。第三要理解方法的核心机制而不是只调参。论文里的超参数是在它的实验设定下调出来的你的场景可能需要不同的值。如果你理解了方法为什么有效就能有针对性地调整如果只是照搬参数那就只能碰运气。第四要做好基线对比。引入新方法之前先确保你的基线是强的、调优过的。很多人基线没调好随便加个新模块就以为提升了其实提升可能只是来自基线本身的欠优化。这一期速递就聊到这里。计算机视觉这个领域变化很快每隔一段时间就会有新的热点冒出来但底层的方法论和判断标准是相对稳定的。希望这份速递不仅帮你了解了最近的一些进展更能帮你建立起自己筛选和判断论文的能力。下次再看到一堆新论文的时候你至少知道该从哪里下手了。