算法论文8
彩云科技&北邮：MUDDFormer让Transformer再进化
机器之心
AI 摘要
彩云科技与北邮提出MUDD连接替代残差连接，提升Transformer跨层信息传递效率。实验表明，MUDDPythia模型性能显著提升，计算效率飞跃，有望成下一代基础模型架构新基石。
阅读原文 · 机器之心
ICML 2025 | 打破残差连接瓶颈，彩云科技&北邮提出MUDDFormer架构让Transformer再进化！
彩云科技与北邮联合提出多路动态稠密连接（MUDD）替代残差连接，提升Transformer跨层信息传递效率。实验显示，采用该架构的模型性能显著提升，论文等均已公开。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
COLM三篇论文暴击Transformer祖传设计
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
量子位
新闻资讯8
2026奇点大会北京将办，Łukasz Kaiser将演讲
2026年，Sam Altman等四位AI界大佬称已进入奇点。11月20 - 21日，奇点智能大会北京站将举行，两大核心会议同期举办。OpenAI资深科学家Łukasz Kaiser将演讲，会议汇聚专家探讨AI前沿与底层技术。
AI科技大本营
算法论文7
Mobius能否颠覆Transformer架构？
自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。
机器之心
新闻资讯7
前大厂负责人创业，探索AGI新架构
曾是OpenAI的「强化学习最大主义者」Jerry Tworek，与谷歌Gemini预训练负责人Rohan Anil，共同创办Core Automation。他们探讨当前AI路线问题，认为下一代架构要能持续学习，还计划打造自动化AI实验室。
机器之心