SiLU与GeLU激活函数现代大模型的选择近年来随着深度学习技术的飞速发展激活函数的选择在神经网络设计中变得越来越重要。传统的ReLURectified Linear Unit虽然简单高效但在一些复杂任务中逐渐暴露出了局限性。为了应对这些问题新的激活函数如SiLUSigmoid Linear Unit和GeLUGaussian Error Linear Unit开始受到广泛关注尤其是在现代大型语言模型如Transformer架构中频频亮相。那么为什么这些激活函数会成为新宠它们又有哪些优越的性质呢本文将为你详细解析。一、什么是SiLU和GeLU1. SiLUSigmoid Linear UnitSiLU 是由 Sigmoid 函数和线性变换结合而成的激活函数公式如下SiLU(x)x⋅σ(x) \text{SiLU}(x) x \cdot \sigma(x)SiLU(x)x⋅σ(x)其中(σ(x)11e−x\sigma(x) \frac{1}{1 e^{-x}}σ(x)1e−x1​) 是标准的 Sigmoid 函数。简单来说SiLU 将输入 (xxx) 与其通过 Sigmoid 函数的输出相乘。这种设计既保留了非线性特性又引入了平滑性。2. GeLUGaussian Error Linear UnitGeLU 则基于高斯分布的累积分布函数CDF其定义为GeLU(x)x⋅Φ(x) \text{GeLU}(x) x \cdot \Phi(x)GeLU(x)x⋅Φ(x)其中(Φ(x)\Phi(x)Φ(x)) 是标准正态分布的累积分布函数。由于直接计算 (Φ(x)\Phi(x)Φ(x)) 较为复杂实践中通常使用近似公式GeLU(x)≈x⋅σ(1.702x) \text{GeLU}(x) \approx x \cdot \sigma(1.702x)GeLU(x)≈x⋅σ(1.702x)或者更精确的近似GeLU(x)≈0.5x(1tanh⁡(2π(x0.044715x3))) \text{GeLU}(x) \approx 0.5x \left(1 \tanh\left(\sqrt{\frac{2}{\pi}}(x 0.044715x^3)\right)\right)GeLU(x)≈0.5x(1tanh(π2​​(x0.044715x3)))GeLU 的灵感来源于高斯分布因此它在处理输入时具有一定的概率特性。二、为什么现代大模型选择SiLU和GeLU传统的激活函数如 ReLU 虽然计算简单但在深度网络中容易导致“神经元死亡”即部分神经元输出恒为0从而限制模型的表达能力。相比之下SiLU 和 GeLU 展现出了以下几个关键优势1. 平滑性与连续性ReLU 的问题ReLU 在 (x0x 0x0) 处不可导导数不连续这可能导致梯度更新不稳定尤其是在深层网络中。SiLU 和 GeLU 的改进两者都是平滑函数导数连续避免了 ReLU 的“硬切换”问题。这种平滑性有助于优化过程更加稳定尤其是在训练超大规模模型时。2. 非线性与动态范围SiLU 和 GeLU 都保留了非线性特性但与 Sigmoid 或 Tanh 不同它们不会将输出限制在一个狭窄的范围如 [0,1] 或 [-1,1]。这使得它们更适合处理具有较大动态范围的输入数据。例如SiLU 在 (x0x 0x0) 时近似于线性而在 (x0x 0x0) 时逐渐趋于 0这种特性既保留了 ReLU 的稀疏性优势又避免了完全截断负值。3. 负值区域的处理ReLU 的局限ReLU 对负值直接置零可能丢弃部分有用信息。SiLU 和 GeLU 的优势它们允许负值区域有一定的输出尽管很小这在某些任务中能更好地捕捉输入的细微特征。例如GeLU 的负值输出基于高斯分布的概率特性使得模型对负输入的响应更加“柔和”。4. 与注意力机制的契合现代大模型如 BERT、GPT 等广泛使用 Transformer 架构而 Transformer 中的注意力机制对激活函数的平滑性和表达能力有较高要求。SiLU 和 GeLU 的设计恰好满足了这一点SiLU其 Sigmoid 加权机制与注意力分数的计算逻辑有一定相似性能够增强模型对输入的加权处理能力。GeLU其概率特性与注意力机制中的 softmax 操作有某种隐含的联系使得它在 Transformer 中表现尤为出色。5. 图像下面是使用 Python 和 Matplotlib 绘制 SiLU 和 GeLU 激活函数图像的代码。代码中定义了这两个函数并在一个图中展示了它们的曲线同时与 ReLU 进行对比。importnumpyasnpimportmatplotlib.pyplotasplt# 定义激活函数defsilu(x):returnx/(1np.exp(-x))defgelu(x):# 使用近似公式return0.5*x*(1np.tanh(np.sqrt(2/np.pi)*(x0.044715*x**3)))defrelu(x):returnnp.maximum(0,x)# 生成 x 值xnp.linspace(-5,5,200)# 计算对应的 y 值y_silusilu(x)y_gelugelu(x)y_relurelu(x)# 绘制图像plt.figure(figsize(10,6))plt.plot(x,y_silu,labelSiLU,colorblue)plt.plot(x,y_gelu,labelGeLU,colorgreen)plt.plot(x,y_relu,labelReLU,colorred,linestyle--)plt.axhline(0,colorblack,linewidth0.5)plt.axvline(0,colorblack,linewidth0.5)plt.grid(True,linestyle--,alpha0.7)plt.legend()plt.title(SiLU vs GeLU vs ReLU)plt.xlabel(x)plt.ylabel(f(x))plt.show()运行这段代码后你会看到一个包含 SiLU蓝色、GeLU绿色和 ReLU红色虚线的图像。SiLU 和 GeLU 的平滑性以及它们在负值区域的非零输出会非常直观地展示出来而 ReLU 的“硬截断”特性也一目了然。三、SiLU 和 GeLU 的具体性质SiLU 的性质平滑且无上界SiLU 在正半轴上趋近于线性而在负半轴上平滑衰减到 0没有严格的上限。自归一化倾向由于 Sigmoid 的加权作用SiLU 对输入有一定的“归一化”效果有助于缓解梯度爆炸问题。计算简单虽然比 ReLU 多了一个 Sigmoid 计算但现代硬件如 GPU对这种操作优化良好计算开销可接受。GeLU 的性质概率特性GeLU 的设计灵感来源于高斯分布输出可以看作是对输入“保留”的概率加权结果。这种特性在随机丢弃如 dropout机制中有天然的契合。非单调性GeLU 与 SiLU 类似在负值区域都存在微小的非单调行为局部最小值这种特性可能增强模型的表达能力。广泛验证GeLU 在 BERT 等模型中的成功应用证明了它在大规模预训练任务中的优越性。四、SiLU 和 GeLU 的对比特性SiLUGeLU定义(x⋅σ(x)x \cdot \sigma(x)x⋅σ(x))(x⋅Φ(x)x \cdot \Phi(x)x⋅Φ(x))平滑性平滑且连续平滑且连续负值处理平滑趋于 0小幅保留负值信息计算复杂度较低稍高需近似计算虽然两者在性质上有相似之处但 GeLU 更偏向于概率加权而 SiLU 则更注重平滑性和计算效率。选择哪种激活函数通常取决于具体任务和模型架构。五、实际应用与未来展望SiLU 的应用SiLU 在 Swin Transformer 等视觉模型中表现出色其简单高效的特点使其逐渐成为 ReLU 的替代者。GeLU 的应用GeLU 最早在 BERT 中被提出随后在 GPT 等语言模型中得到广泛应用证明了它在自然语言处理领域的强大能力。未来随着模型规模的进一步扩大和任务复杂度的提升激活函数的设计可能会更加多样化。SiLU 和 GeLU 的成功或许只是一个开始研究者们可能会基于它们的优点开发出更高效、更具针对性的变体。六、总结SiLU 和 GeLU 之所以能在现代大模型中脱颖而出归功于它们的平滑性、非线性、负值处理能力以及与注意力机制的良好契合。相比传统的 ReLU它们在深层网络中能够提供更稳定的梯度传播和更强的表达能力。如果你正在设计一个新的神经网络不妨尝试将 SiLU 或 GeLU 融入其中或许会带来意想不到的性能提升后记2025年3月26日19点52分于上海在grok 3大模型辅助下完成。