MULTIMODALNeurIPS 2026Fusion or Confusion?多模态复杂≠更强大19种方法×9个数据集一次“反复杂化”统一复测复杂的模型真的融合得更好吗/FUSION OR CONFUSION近几年来多模态学习越来越像一场“结构军备竞赛”新的融合模块、更复杂的跨模态交互、额外的梯度调节机制不断叠加。但是这篇文章提出了一个更加基本的问题复杂的程度是否能带来可以重复得到的效果呢作者把19 种高影响力的多模态方法放到统一协议之下在9 个真实的 数据集最多 23 种模态上重新比较。结果不是简单的“一定赢”而更加值得我们警惕的是复杂的架构并没有稳定的胜过一个调得足够认真的简单的基线。1先把比较做公平FAIR EVALUATION BEFORE NOVELTYFig. 1多模态方法分类及SimBaMM基线结构论文核心信息论文标题Fusion or Confusion? Multimodal Complexity Is Not All You Need作者Tillmann Rheude、Roland Eils、Benjamin Wild单位德国柏林健康研究所 / 柏林夏里特医学院Charité—柏林大学医学中心、复旦大学智能医学研究院、德国柏林自由大学论文链接https://arxiv.org/abs/2512.22991v3代码链接https://github.com/TillmannRheude/simple_mml_baseline一句话概括这不是再造一个更复杂的融合器而是用统一实验协议检验“复杂多模态设计到底值不值”。这篇论文为什么值得仔细阅读呢论文将近几年来多模态的方法按照修改的位置分成了MissingData、Encoder、Fusion、Head、Gradient五种并指出现有一段时间以来的一个比较误区不同的论文经常把数据划分、超参数预算、初始化以及优化器都改变了。这样一来“新模块带来的提高”和“实验条件更佳”的关系很难划分。作者的主要行为就是把所有的干扰因素都尽量地锁定起来然后再来看结构创新还有多少可以得到的利益。SimBaMM把多模态学习压回到一个简单的Late Fusion基线上SimBaMM 的想法很简单每一个模态都会先经过自己编码器然后再投影到共同的隐藏空间中去之后把各个模态的 token 送入一个 Transformer 头进行late fusion。缺少模态不会增加复杂的补全模块而直接用attention mask控制可见的token。虽然这个基线看起来很简单但是它为所有的复杂方法提供了一条相同的“起跑线”。只有在相同的编码器、相同的初始化、相同的训练/调参预算下仍然能够保持稳定的差距才更像是一种真正的来自于方法本身的好处。每一个样本都只包含目前可以使用的模态集合 ᵢ所以该框架自然地使得不同的样本具有不同的模态组合。首先由模态专用编码器提取出表示然后投影到共享的d维空间中在比较不同的融合方法的时候编码器是相同的。融合头只在可用模态之间进行注意力计算之后由任务头给出预测。01统一协议并不只是把网络统一起来作者对于所有的算法都使用相同的优化和初始化规则而且会给基线做一个系统性的分析。Bayesian hyperparameter optimization比较时再用Bayesian hierarchical analysis with ±1% ROPE把“真正好”、“真正坏”以及“实际上一样”的区别开来。比起只看一个平均值来得要严格一些多出了几个点。02当数据规模差距拉大之后再去考察方法是否还能够成立9 个真实的 数据集 覆盖了视频、音频、语言、X-ray、CT、EHR、ECG、代谢组、蛋白组等多种类型的异构输入规模从小到大分别为从 2,199 个样本到 488,131 个样本模态数从2个一直增加到23 个。所有的结果都用subject-wise 5-fold cross-validation的方法来得到并且尽量避免同一个受试者在不同的折中泄漏。03原来的论文中提到的“评测缺口”有多大呢作者统计所复现的方法原论文中评测设置的情况0% 报告系统超参数调优0% 使用统计显著性分析只有 11% 使用交叉验证、21% 给出误差条但是82%的人提供了单模态基线但是这些基线通常没有得到和新的方法一样大的调参力度。该数据本身也是本文最需要探讨的背景之一。先看数据后说“复杂度红利”把19种方法都搬到了统一协议之下之后作者就不再只是问“哪个模型排行榜第一”了而是要问**差异是否大于±1%的实践等价区间**该问题改变的是结论口径——一些看上去领先的小差距在统计层面上更适合作为“差不多”的解释。真正要引起注意的是在不同的数据集和不同的模态上都能够重复出现的收益。表 1统一评测涵盖了9个真实的数据库最大的UKB包含488131个样本、23种模态论文第4页表 2最近多模态方法原始评测协议统计调参、统计显著性、交叉验证等等控制不一2复杂的没有稳定的赢结果到底应该怎么读呢COMPLEXITY ≠ RELIABLE GAIN19 种复杂的算法并没有哪一种算法可以一直拉开 SimBaMMFigure 2 将各个方法相对于SimBaMM-CLS在9个数据集上进行比较绿色表示该方法比SimBaMM-CLS好红色表示SimBaMM-CLS的效果比较好。灰色表示落在±1%ROPE范围之内。最引人注目的是某一个模型的一点优势并不是没有任何一种复杂的办法在不同的数据集上都能得到稳定的优势。对于最激烈的几种竞争对手贝叶斯分析更倾向于支持**“实践上等价”**不是说“复杂的办法比简单的方法要好很多”。图 2跨 9 个数据集的聚合森林图绿色方法更好灰色实践等价红色SimBaMM-CLS 更好表 3贝叶斯层级比较最强的竞争方法更多的时候是实践等价而不是稳定显著胜出图 3MIMIC Symile 效率分析训练时间、FLOPS、参数量和AUROC之间的权衡图 4当缺失模态的比例由原来的5%增加到了现在的50%各个方法都会出现不同程度的下降而复杂的算法也没有能够保持稳定的胜出1性能稍微低一点但是算账的话可能会出现一个数量级的误差在MIMIC Symile上C-Mamba的AUROC是0.6603SimBaMM 为0.6545但是训练的时间分别是253s/epoch 和 14.6s/epoch论文中给出的换算关系是 SimBaMM 约快 17×。IMDer还需要408GFLOPS、203s/epoch但是只有0.6170AUROC。换句话说“更复杂”的至少要同时回答性能收益是否稳定、这个收益值是否值得付出计算成本的问题。2缺少模态和案例研究公平协议会改变结论在缺失模态实验中SimBaMM 和专门针对缺失模态的方法随着缺失率的增大而降低复杂的机制仍然没有稳定的拉开差距更重要的就是 CREMA-D 案例原来的设置只是把 train 和 test 分开在 test 上参与模型的选择并且划分不是 subject-independent 的。存在subjectleak的情况。作者改成受试者独立划分、统一调参之后AUG 对单模态视频仍然有提升的空间但是多模态相比简单的基线优势已经不存在了。该案例表明评测协议并不是“附带细节”它将会直接影响到我们如何去理解方法的贡献。图 5CREMA-D 案例原始数据协议和修正后的受试者独立协议都会影响到SimBaMM和AUG之间的相对表现总结论文本身也明确限制了结论范围不包括Early Fusion、大规模预训练、对比学习以及部分领域的专用结构但是并不宣称“复杂的结构总是没有用处的”。真正可以被复用的结论就是首先要建立一个强有力的、简单的基准模型然后用同样的参数调整预算、受试者独立交叉验证以及统计比较来证明新模块带来的收益。如果复杂的机制真的有效的话在这样的控制之下也应该能够站得住脚。往期精彩推荐