开源动态8
Mamba-3发布,推理效率碾压Transformer7倍
新智元
AI 摘要
CMU普林斯顿团队发布Mamba-3,改进核心SSM。它推理优先,有指数梯形离散化等三大技术,效率碾压Transformer。不过纯SSM检索不如Transformer,混合架构或成未来趋势。
阅读原文 · 新智元
华人学生立大功!新王Mamba-3直击Transformer死穴,推理效率碾压7倍
新一代开源架构Mamba-3发布,由CMU普林斯顿原班人马打造,15亿参数性能比Transformer高4%,长序列任务端到端延迟仅为其七分之一。它采用新设计哲学,推理优先,有三大核心技术,还能与自注意力层混合提升检索能力。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
COLM三篇论文暴击Transformer祖传设计
COLM 2026上,三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大;《Lost in Backpropagation》揭示输出投影层信息损耗严重;《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
量子位
新闻资讯8
2026奇点大会北京将办,Łukasz Kaiser将演讲
2026年,Sam Altman等四位AI界大佬称已进入奇点。11月20 - 21日,奇点智能大会北京站将举行,两大核心会议同期举办。OpenAI资深科学家Łukasz Kaiser将演讲,会议汇聚专家探讨AI前沿与底层技术。
AI科技大本营
算法论文7
Mobius能否颠覆Transformer架构?
自ChatGPT问世,Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构,有望解决商用等关键问题。
机器之心
新闻资讯7
前大厂负责人创业,探索AGI新架构
曾是OpenAI的「强化学习最大主义者」Jerry Tworek,与谷歌Gemini预训练负责人Rohan Anil,共同创办Core Automation。他们探讨当前AI路线问题,认为下一代架构要能持续学习,还计划打造自动化AI实验室。
机器之心