算法论文7
SUGAR解决ReLU重大缺陷
机器之心
AI 摘要
德国吕贝克大学等机构研究者：提出 SUGAR 方法，不换模型、不堆参数解决 ReLU「死亡 ReLU 问题」。设计 B - SiLU、NeLU 函数，实验表明在不同架构和数据集上性能提升明显。
阅读原文 · 机器之心
经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决
在深度学习领域，经典 ReLU 函数因简洁性等优势受青睐，但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法，不牺牲 ReLU 优势解决该问题，还设计 B - SiLU、NeLU 函数，实验显示性能提升显著。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文9
对错之外，推理轨迹暗藏训练价值
本文结合EchoRL、ReflectRL两项最新研究，重新解读推理轨迹的训练价值，解决全答对无强化信号、错题全丢弃的训练痛点，梳理方法设计、实验结果与适用边界，为大模型推理训练提供新参考。
深度学习自然语言处理
算法论文8
小偏差为何带偏大模型RL训练
本文解读Together AI的新算法论文，讲解大模型强化学习中，采样端与训练端的微小偏差如何累积放大导致训练跑偏，介绍Score Centering校正方法的原理、效果与应用边界。
深度学习自然语言处理
算法论文9
冻结权重，ModularRSI让Agent持续进化
IQuest Research联合北京航空航天大学、曼彻斯特大学等机构发布ModularRSI研究，探索在基础模型权重冻结的条件下，通过演化Agent外围运行机制Harness，实现可泛化的Agent自我改进，性能提升可跨任务、领域、模型迁移。
机器之心
算法论文9
万卡RL训练：如何选最优Batch Size
本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。
机器之心