刚入行大模型训练的时候我一度以为激活函数只是导入一行代码的事ReLU不行就换LeakyReLU再不行就换tanh。直到有一次在试一个百亿参数规模的实验时因为把GELU换成SiLU损失曲线的形状直接变了我才意识到这东西不是“函数选择”那么简单。大模型训练过程中SiLU和GELU的选择跟学习率、初始化、归一化、混合精度甚至推理算子都缠在一起。这篇文章就聊一聊我在大模型训练中做这个选择时看到的原理、踩过的坑以及最后沉淀下来的决策框架。1. 为什么ReLU不够用SiLU和GELU成了大模型的常客1.1 ReLU的致命短板死亡神经元和梯度突变讨论SiLU和GELU之前得先说清楚ReLU为什么被换掉。ReLU就是max(0,x)正半轴导数恒等于1负半轴导数恒等于0。这个设计在浅层网络上很有效因为计算极简、正区间没有饱和问题。但放在几十层上百层的大模型里缺点会被规模放大。最出名的是死亡ReLU问题当一个神经元的权重在训练中被更新到一个几乎永远走不进正区间的区域它后续对任何输入都输出0反向传播时梯度也是0这个神经元就再也不会被激活等于白白浪费了参数量。死亡的ReLU在深层FFN中并不少见尤其当学习率偏大或数据分布有偏时能从训练日志里看到某些通道的激活值长期为0。另一个问题容易被忽略ReLU的导数在0点从不连续突变这种不光滑性会让loss landscape出现许多“折痕”。参数空间里存在折痕优化器迈步的时候就可能在这些棱角上反复震荡。大模型参数量动辄几十亿上百亿梯度路径极长一个高层不连续点经过层层传播之后被放大成一种全局的不稳定信号。相比之下SiLU和GELU的导数连续每个点附近都有光滑的梯度过渡从几何感觉上就更适合作为深层网络的“路面”。我在实际项目里反复观察到一个现象用ReLU做基座模型FFN激活时训练很容易卡在某个看似平坦的loss plateau上尝试调学习率能掉下去但一冷启动又出现。换用SiLU或GELU之后plateau出现的频次低很多。这不是某个特定框架的调参问题而是激活函数本身的光滑性给优化过程提供了更好的连续性。尤其是大模型普遍使用大batch和Adam类优化器梯度噪声已经被平均掉很多这时loss surface的局部可导性就变得更加关键。1.2 平滑性为什么在大模型里被无限放大我经常用一个比喻训练大模型像是在一张高维地图上找盆地底而ReLU这样的非光滑激活函数相当于在地图上放了无数条“台阶棱”。SGD走到棱上方向估计是分段常数的容易在棱两侧反复横跳而SiLU或GELU这类平滑函数地图棱被磨圆了每一步的梯度方向能更真实地反映局部趋势。大模型的深度和宽度都会放大这个差异。深度越深每层激活函数的不光滑性会在反向传播中逐层影响梯度信号宽度越大激活分布里随机落在不光滑点上的样本更多训练过程就越容易出现持续的微小抖动。现代大模型基本都配了Pre-Norm或RMSNorm它们把输入拉到较稳定的尺度这反而让激活函数本身的形态在训练动态中占据更大权重。换句话说归一化已经处理了输入方差接下来决定信息如何扭曲的就是激活函数。为什么不像ELU或Softplus那样因为ELU在正半轴是线性但负半轴饱和Softplus虽然处处光滑但正半轴饱和。大模型很忌讳正半轴饱和一旦某个神经元输出被“压”住梯度就趋近于0这跟ReLU死亡一样致命。SiLU和GELU在正半轴都是渐进线性没有上界负半轴又保留一个小梯度既不跟ReLU一样“死硬”又不跟tanh一样“饱和”正好踩在大模型需要的位置上。1.3 为什么偏偏是SiLU和GELU而不是别的从设计空间看平滑激活候选并不少但最终在大模型生态里胜出的就是SiLU和GELU这里有几个深层原因。GELU的出发点是给ReLU加一个概率门控输入越大越大概率“通过”输入为负也不是直接截断而是以一个小概率保留。这样既保留稀疏性又比ReLU更软。SiLU则可以看成把门控值从固定二值换成sigmoid连续值本质是为每个输入学一个软开关。两种函数都能让网络在负侧做“试探性更新”这是深度网络最需要的容错能力。另外这两个函数和Transformer里常见的门控结构特别搭。许多大模型的FFN层会把激活函数放在门控分支里形成类似SwiGLU的结构。SwiGLU用的就是SiLU这类函数对输入做门控GELU也经常被用在标准FFN中。实践下来这两类函数的数学形式简单、反向求导容易写、算子融合空间大不依赖复杂的指数或三角函数组合。它们像是一对“可替换但有性格差异”的兄弟先理解了差异才能谈选择。2. 两张数学面孔SiLU和GELU到底差在哪里2.1 表达式、导数与近似式的逐项对比想做好选择得先回到数学形式。SiLU的定义是x * sigmoid(x)也就是x / (1 exp(-x))。GELU的定义是x * Phi(x)其中Phi(x)是标准正态分布的累积分布函数。工程上不会直接去算正态CDF所以GELU通常用近似式SiLU:f(x) x * sigmoid(x)GELU近似:f(x) ≈ 0.5x * (1 tanh(sqrt(2/pi) * (x 0.044715x^3)))从计算成本看SiLU只需要一次sigmoid硬件里sigmoid可以拆成一次指数和一次除法GELU的tanh近似多了一个三次方项和若干系数乘法虽然现代算子库会把它们融合成一个kernel但从数学本质上讲SiLU确实更轻。很多框架还提供GELU的sigmoid近似版本那在数值上就更接近SiLU了不过在选型时大家默认还是讨论精确GELU和精确SiLU。再看导数。SiLU的导数是sigmoid(x) x * sigmoid(x) * (1 - sigmoid(x))GELU的导数是Phi(x) x * phi(x)其中phi(x)是标准正态概率密度函数。两者在x0处的导数都等于0.5也就是说零附近的小扰动会以相同的比例传播。这个“相似点”经常让人误以为两个函数可以随便切换但它们的细节差异恰恰在非零区域尤其是负半轴。下面这张表可以更直观地看到几个关键差异维度SiLUGELU形式x * sigmoid(x)x * Phi(x)负半轴极小值约-0.28约-0.17导数为负的区域存在在约x-2附近基本不存在导数始终非负负半轴穿透力较强负区间更“活跃”较弱负区间更“温和”计算成本sigmoid一次简单tanh近似包含三次方略重常见场景门控FFN、自注意力变体大多数标准FFN、分类头这个表格不是绝对的但能看出SiLU的“性格”比GELU更加剧烈。理解了这个差异才能解释训练过程中那些loss spike和梯度分布变化是怎么来的。2.2 负半轴行为看似相似实则气质不同很多人只看函数曲线会觉得SiLU和GELU长得差不多其实它们在负半轴的“气质”差很多。SiLU在负半轴会先下降到一个约-0.28的谷底再缓慢爬回0。这意味着较大的负输入会得到明显的负输出这些负输出在后向传播中会继续影响上一层梯度。GELU也有一个负谷但谷底更浅大约在-0.17而且整个负区间收缩得更快。直观感受就是SiLU对负输入更“敢说话”GELU则更“保守”。这种差异在深层FFN里会直接影响中间激活的分布。我做过一个对比实验同一份数据、同样的模型结构只是把激活层从GELU换成SiLU训练到5万步时FFN中间层输出的负半轴激活比例从大约32%降到了16%同时负侧激活的绝对值明显变大。模型并没有学坏只是激活分布变了。如果后续接的是RMSNorm它只关心方差不关系均值那么这种变化会被部分吸收如果后续接的是带可学偏置的LayerNorm偏置会去补偿均值偏移训练信号也会跟着变。所以在实验环境里我通常会在日志里监控两个统计量激活值的正负比例和负半轴最小值。如果发现负半轴极值长期小于-0.3就说明SiLU的负区间太活跃需要检查学习率和初始化标准差的合拍程度而GELU很少触发这种告警。这不是说GELU一定更好而是说SiLU需要照顾更“野”的分布。2.3 从一阶导和二阶导看训练动力学一阶导数的符号直接决定误差信号会不会反向。SiLU导数在约x-2附近会短暂变成负值虽然幅度很小但在大模型的梯度流里任何反常规的局部行为都可能被批量大小、学习率和长程传播放大。梯度为负意味着当某个神经元输出一个比较大的负值反向传播给它的梯度方向会反转这在优化器眼中相当于一个“异常样本”。Adam类优化器会对梯度做归一化所以这个负导数的影响会被压低但不等于消失。GELU的导数在所有区域都保持非负最大值趋近1最小值趋近0。这意味着GELU的反向梯度永远不会反转方向它只会把误差信号按一定比例减弱或放大。对训练稳定性来说这是一个“安全”的特性因为它们不会因为输入的剧烈波动而改变局部误差方向。我看到的很多大模型经验帖里GELU的loss曲线更平滑训练过程不太容易因为激活函数产生尖刺背后的数学原因就在这里。二阶导则影响loss curvature。SiLU和GELU都不是凸函数在负半轴和正半轴都表现出不同的曲率。对于使用二阶信息的优化器曲率变化会影响预处理矩阵即便只用Adam曲率的剧烈变化也会影响自适应步长的估计。经验上SiLU在高曲率区域比GELU更多所以在大批量小学习率设定下SiLU可能带来更好的最终loss但在小批量大学习率下更容易失稳。这也是为什么大模型通常用小学习率和长warmup来“驯服”SiLU。3. 大模型训练中的真实取舍梯度流、数值稳定性和损失曲线3.1 梯度信号的径向分布大模型的参数初始化通常会配合激活函数做一个方差匹配。很多框架在初始化时就假设激活函数的输出方差SiLU和GELU的零附近形态相似但整体输出方差有差异。如果一个模型原本用GELU初始化器已经按GELU的方差缩放过权重切换到SiLU后虽然输出方差差别不大但负半轴导致的梯度反转会让某些层的梯度范数出现微小偏移。在张量并行和序列并行场景下梯度范数的变化会进一步影响梯度的平均和裁剪。我习惯在每个checkpoint保存时记录每个参数梯度的L2范数持续观察几十个step。如果换激活函数后某一层的梯度范数突然下降超过5%那大概率不是激活函数本身差而是负半轴的梯度分布与优化器的二阶矩估计不匹配。这时可以先调Adam的epsilon或beta2而不是急着回滚函数。另一个容易被忽略的点是激活函数与dropout的位置。大模型里常把dropout放在激活之后SiLU产生的负激活在dropout后会留下更多“残留”GELU则因为负激活更小dropout的影响更温和。尤其是在瓶颈维度比较小的结构中这种差异会在多轮迭代里累积最终体现在验证集性能上。3.2 混合精度下的数值陷阱大模型训练几乎离不开混合精度。FP16和BF16对动态范围和精度的处理不同SiLU和GELU在这两种精度下的表现也不一样。SiLU计算sigmoid时会用到exp(-x)如果x是一个很大负数exp(-x)在FP16里很容易变成inf。很多框架会提供稳定版本把sigmoid拆成正负区间分别计算但如果你在自定义kernel里偷懒直接用1/(1exp(-x))在极端激活值下出现NaN就不会让人意外。GELU的tanh近似包含一个三次方项x^3当|x|超过一定范围时三次方项容易溢出。特别在FP8这类更低精度训练里三次方项的舍入误差会被放大出现激活值“歪斜”的现象。我遇到过一次奇怪的问题训练到一个阶段loss突然变成NaN排查半天发现某层的输入某些通道涨到了5以上tanh近似里的三次方项直接爆掉。换成经过数值裁剪的GELU实现或者改用SiLU的稳定sigmoid实现问题就消失了。混合精度下还要注意loss scale对梯度传播的影响。SiLU的负导数区域虽然小但在低精度下更容易被loss scale缩到0附近等于某些位置梯度“蒸发了”。GELU因为导数始终为正低精度下被破坏的概率更小。所以如果项目决定长期使用FP8训练我会更倾向GELU如果在BF16下做SwiGLU门控SiLU仍然是主流且稳定的选择。3.3 收敛曲线和Loss Spike的经验大模型训练里大家最怕loss spike。loss spike一次可能就让几个小时的算力白费。从我的经验看纯SiLU比GELU更容易在训练中段激发出loss尖峰尤其是学习率warmup结束后第一次进入稳定下降阶段的时候。原因很可能又是SiLU的负导数区间当一批数据里出现较多大负激活时梯度方向短暂反转Adam虽然会平滑但batch中部分样本的更新方向已经“越界”于是loss会突然跳一下。GELU就没有这种短促反转所以它的loss曲线更像一条持续下降的光滑曲线。我做过一组对比同一个中型规模模型GELU训练2000步内loss零次突变SiLU出现两次超过0.2的回升其中一次持续了20步才恢复。差距没有很多人想象得大但足以影响实验的“粗糙度”。如果非要用SiLU又不想看到尖峰可以考虑两个补救措施一个是把门控结构改成SwiGLU而不是纯SiLU因为门控分支的sigmoid会限制信息缩放减少负激活极端化另一个是延长warmup让学习率不要在训练前中期过快冲高。这两种做法在多个项目里都验证过能够把尖峰频率压制到和GELU相当。3.4 与归一化、学习率、初始化器的协同激活函数不是孤立存在的它跟周围的归一化层、优化器和初始化强耦合。大模型常见的RMSNorm只做缩放不做平移对SiLU在负半轴产生的均值偏移没有校正能力。GELU因为负侧输出更轻均值偏移也不大所以在RMSNorm结构里GELU的适应成本更低。如果你用LayerNorm那么SiLU的负激活会被偏置项吸收训练会更宽容一些。初始化器的选择同样要考虑激活函数。用SiLU时初始化标准差如果沿用GELU版本第一层输出的方差会略偏大经过深层FFN后可能导致softmax之前logits的尺度异常。一个实用技巧在第一次训练时打印模型输出层的标准差如果logits的标准差超过某个Threshold就主动把初始化标准差缩小10%到20%。这比反复试学习率更直接。学习率方面GELU通常对Adam的β2不那么敏感可以用常见的0.999SiLU在负半轴的“隧道”效应会让大学习率下出现不稳定所以可以尝试把β2调到0.95或0.98同时适度降低峰值学习率。这些都不是理论推导出来的而是在试错中找到的“稳妥参数”。切换激活函数后最忌讳的是保持所有其他超参不动然后断言谁好谁坏。4. 从训练到推理硬件和算子层面的隐藏成本4.1 exp近似与算子融合大模型训练时激活函数只占总计算量的一小部分但它仍会影响算子访存。SiLU里的sigmoid在GPU上通常由专门的超越函数单元加速虽然指数计算本身不便宜但指令可以很短。GELU的tanh近似包含了一个三次方和一个tanhtanh内部也要做指数理论上计算量略高。不过现代训练框架都会把激活函数的前向和反向融合成单个kernel访存时间的差异会被覆盖住所以“SiLU比GELU快”这种说法在端到端训练里并不总是成立。另一个和算子融合相关的因素是激活函数的“重计算”策略。大模型训练经常为了省显存做激活重计算也就是前向时不保存激活反向时重新算一遍。SiLU的反向需要根据输入重新计算sigmoidGELU反向需要重新计算近似式中的三次方和tanh。两者重计算的开销差距不大但GELU的近似包含更多中间变量极端情况下临时缓冲会更挤。用序列并行或者超长序列训练时这一点偶尔会成为触发OOM的“最后一根稻草”。如果项目要写自定义算子我建议优先把SiLU写好因为它结构简单、边界条件少反向公式也容易向量化。GELU的tanh近似虽然表达式中规中矩但在低精度下要做分段处理需要更多防御性代码。写算子不是选激活函数的唯一理由但在工程资源有限时它会影响维护成本。4.2 推理阶段和量化场景的对比训练确定之后部署端还会把问题再放大一遍。推理时激活函数只是计算图里的一个节点但量化对激活函数非常敏感。GELU的输出在负半轴比较收敛对称量化的动态范围相对集中SiLU的负激活更大激活值的分布会更分散对称量化时要么牺牲精度要么用非对称量化。实测经验是把训练好的SiLU模型用对称PTQ量化到8-bit负半轴的量化误差明显大于GELU模型。使用per-channel量化或者为负激活单独加offset可以减少损失但工程复杂度会增加。有些低bit推理框架会直接对激活函数做特殊处理比如用查找表近似SiLU或GELU。由于GELU在负半轴曲线更平滑查找表分段数少一点就能达到不错精度SiLU负半轴的“谷底”更尖锐查找表需要更多采样点否则在谷底附近误差会突跳。所以单独从量化友好度看GELU通常更占优势。反过来SiLU也有GELU比不上的场景SwiGLU这种门控结构在一些开源LLM的实现里大量使用SiLU作为门控导致很多推理引擎专门为这个组合写过特化kernel和融合优化。所以如果模型结构采用门控FFN选择SiLU往往能“免费”获得更好的部署支持如果模型是标准FFNGELU的部署生态反而更成熟。选型时要把训练后的部署链路一并考虑进去。4.3 训练后端与框架的支持不同训练框架对SiLU和GELU的实现细节差异很大这种差异在迁移代码时最容易暴露。有的框架把SiLU的sigmoid在混合精度下自动升到float32计算有的则不会有的框架对GELU只提供tanh近似版本有的提供精确误差函数版本。同一个模型用了不同的后端日志里的数值曲线可能有肉眼可见的差别。我在一个项目里遇到过这样的坑从GELU切换到SiLU后训练吞吐量居然下降了10%。查了半天发现是后端没有为SiLU提供融合反向算子自动退化成了“非融合”路径把中间结果频繁写回显存。把算子换成手写的融合kernel后吞吐量不仅恢复还比GELU快了2%。这说明数学上的简单不一定等于工程上的高效最后要看目标平台在哪个函数上投入过优化资源。在分布式大模型训练里张量并行和序列并行会切分激活激活算子是否支持分片重算很重要。SiLU作为逐元素函数天然支持任意分片GELU的tanh近似也一样但一些后端实现为简化代码会对GELU的分片做额外同步反而增加通信开销。如果两种函数都能满足精度需求优先选后端实现得更“原生”的那个工程风险会低很多。5. 怎么选一套可以“抄作业”的决策框架5.1 从架构继承性出发进入一个真实的大模型项目第一步不是翻论文选激活函数而是看你要做什么。如果目标是复现或基于已有checkpoint继续训练那就坚决保持原结构的激活函数。别人当初的训练超参是围绕那个函数调的换成另一个函数等于把一套已经调好的体系推翻。如果你是从零开始训练一个全新架构那可以考虑用社区验证最多、算子支持最完整的那一个而不是追求“冷门最优”。工业界目前的一个趋势是门控FFN用SiLU尤其SwiGLU标准FFN用GELU。原因是门控结构恰好需要负半轴活跃的门控信号SiLU在这类结构里提供了比GELU更强的信息对比度而标准FFN只需要一个稳定非线性的过渡GELU更省心。这个“约定俗成”不是绝对正确但它建立在大量复现实验上可以作为默认起点。5.2 小规模对照实验设计激活函数的选择不该靠感觉我建议做一个1B以下的小规模对照实验。固定训练数据、模型结构、batch大小、优化器、学习率、warmup步数和随机种子只改动激活函数这一项。观察几个核心指标训练loss曲线下面积、梯度范数中位数、loss spike次数、最终验证集精度、显存峰值和训练吞吐。重点要看前20%训练步数内的loss下降速度和后期的稳定性这两个阶段最能暴露激活函数的性格。如果小规模实验里GELU和SiLU的性能差异很小那在更大规模上也不会有质变这时选更容易部署和维护的函数。如果SiLU在后期精度上明显领先但换来几次loss spike可以考虑调整学习率和Adam epsilon再做第二轮实验而不是直接推广到全量。这个流程看起来慢但比盲目在100B参数上试错快得多。5.3 我的经验与建议回到标题里那个问题大模型训练过程中SiLU和GELU到底怎么选我的结论是没有一个放之四海而皆准的答案但有一个可以遵循的优先级从零训练大型语言模型且FFN采用门控结构时先试SiLU尤其是SwiGLU变体它更容易在后期精度上限上给你惊喜如果目标是稳定复现已有成果或者模型规模还不足以支撑大量调参GELU是更稳妥的起点。两种函数在多数场景下的最终性能差距通常不超过0.1个点远小于数据质量、学习率策略和decay schedule带来的影响。我在某个真实项目里先用了SiLU把warmup拉长调整了Adam epsilon最终loss比GELU基线低了一点点但过程中确实出现了两次loss spike。第二次实验改回GELUloss曲线平坦得多最后精度只差0.01。那次之后我就明白激活函数选择更多是工程稳定性问题而不是数学表达能力问题。最后再分享一个实用技巧在并行卡数很大的时候我会在日志里每隔1000步打印一次输出层的激活值统计特别是负半轴的比例。如果SiLU的负半轴激活比例持续下降就说明部分通道在“隐性死亡”这时候可以适当提高学习率或降低warmup步数而GELU很少出现这种问题。相反如果GELU的输出方差过大可以先检查tanh近似的三次方项是否在某些极端输入下溢出成NaN。总之SiLU和GELU的差距没有想象那么大但每个细节都值得在现场训练日志里被看见。