ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

DEIM 改进系列(二):neck lateral通路改进——给融合前的特征重新校准

DEIM 改进系列(二):neck lateral通路改进——给融合前的特征重新校准 接上篇。HG_Stage 解决了特征源头的问题但特征从 backbone 出来到真正融合还要过一条关键的咽喉通路lateral_convs。在 DEIM 的 HybridEncoder 里top-down FPN 的每一级都是这个流程深层特征P5 经 intra-scale encoder 强化后→lateral_convs 做通道投影→ 上采样 → 与浅层特征 concat → 交给 fpn_blocks 融合。也就是说深层语义特征进入跨尺度融合的唯一通道就是 lateral_convs。原始实现非常朴素一个1×1 卷积 BN没有激活函数。它只负责对齐通道数不负责重塑特征。0. 开场lateral_convs是谁它在哪DEIM 的 HybridEncoder 用 lateral_convs 把深层语义特征投影进跨尺度融合原始实现只是一个1×1 卷积 BN、无激活的线性通路——深层特征在融合前既没有非线性调制也没有分布校准。针对这条被所有融合路径共用的咽喉通路我们在 1×1 投影之后做了 5 个可即插即用的替换变体RepBN / BSiLU / NeLU / DynamicTanh / IEL覆盖归一化增强、激活改造、门控增强三类思路全部保持通道与尺寸不变、零改动训练代码一行 yaml 切换。本文逐一拆解设计动机并以 BSiLU 为例给出具体修改。1. 现有的lateral_convs有什么问题先看它做的事y BN(Conv1x1(x))一条纯线性变换。问题在于它太素了问题机制原因可观测后果融合前缺乏非线性调制lateral 通路无激活函数线性投影无法重塑特征分布深层语义与浅层细节直接拼接融合块需要更多层去学两者的非线性关系BN 统计静态、对分布漂移敏感BN 用 batch 统计归一化训练-推理分布不一致小 batch / 域偏移时统计失准换数据集、换分辨率后融合路径性能退化特征值域不受控BN 输出近似标准正态但不同尺度特征的实际值域不一致拼接融合时强信号通道主导弱信号细分场景如特定小类目标被淹没无自适应重标定深层特征各通道重要性不同lateral 却对所有通道一视同仁信息冗余通道占用融合带宽一句话总结lateral_convs 是 neck 里参数最少、却被所有跨尺度融合共用的通路——改它的成本极低却影响每一条融合路径是典型的小改动、高杠杆位置。2. 可以往哪些方向改进不改它的投影职责1×1 卷积保留只改投影之后那一步有三条路方向思路代表变体优点代价归一化增强让归一化本身可学习、可残差化RepBN、DynamicTanh保留 BN 的训练稳定性只加极少量参数提升幅度依赖具体场景激活改造用有界/平滑激活替代无激活BSiLU、NeLU激活本体零参数非线性调制激活形态需与任务匹配门控增强引入乘性门控特征自适应调制IEL表达力最强参数量明显增加三路共同点都接在 1×1 投影之后、通道与尺寸完全不变、不碰训练代码。我们的做法是五个变体全做当作一组归一化/激活调色板让实验挑出最适合的那一个。3. 我们是如何改进的lateral_convs 的替换变体共 5 个全部保持 c→c、空间不变、接在 1×1 投影之后变体结构/公式类型参数量lateral_convs_RepBNBN(x) α·xα 可学习归一化增强BN 参数 1 标量lateral_convs_DynamicTanhtanh(α·x)·w b逐通道仿射归一化增强2c 1lateral_convs_BSiLU(xα)·σ(x) − α/2α1.67激活改造0复用 1×1BN 前置lateral_convs_NeLUx0 取 xx≤0 取 α·log(1x²)激活改造0lateral_convs_IEL1×1 投影 → DWConv → Tanh 门控残差 → x₁·x₂门控增强适当设计逻辑同一位置、同一职责五个不同的调制形态——RepBN给 BN 加一条可学习恒等残差α·x是归一化层的重参数化既要 BN 的分布归一化又保留原始尺度的信息α 由网络自己权衡DynamicTanhDyT用tanh(α·x)把输出压进有界区间再做逐通道仿射α 可学习控制饱和程度天然抑制异常大值BSiLU把 SiLU 的负区平移 α/2普通 SiLU 在负大输入处输出趋近 0、梯度消失B-SiLU 让负区仍保留输出与梯度同时输出有下界特征值域可控NeLU用α·log(1x²)替代 ReLU 的硬截断负区平滑保留微弱负向信息梯度流动更稳IEL走双路门控一路 Tanh 残差增强后两路相乘用一路调制另一路表达力最强代价是参数最多。4.以GCE为例第一: 将下面的核心代码复制到DEIMv2-main\DEIM_YOLO\change_mode_通用注意力路径下如下图所示。第二自适应导包与模型搭建第三将模型配置文件复制到DEIM.YAMY文件中​​第四模型跑出的结果
返回列表