算法论文8
EverMind:MSA架构突破大模型长时记忆瓶颈
机器之心
AI 摘要
EverMind团队提出MSA架构,通过记忆稀疏注意力等机制,实现100M长度大模型长时记忆,突破“不可能三角”。实验证明其扩展性、鲁棒性强,是“记忆即服务”的重要成果,契合盛大“发现式AI”愿景。
阅读原文 · 机器之心
突破一亿Token极限:EverMind提出MSA架构,实现大模型高效端到端长时记忆
机器之心发布文章介绍,大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构,突破扩展性、精度和效率的不可能三角,实现100M长度的大模型长时记忆框架。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
Meta新大模型跑分刷榜 实测翻车
本文报道Meta发布全新大模型Muse Wonder,官方宣称跑分超越GPT-6 Astra与Claude Opus 5.5,砸千亿冲击前沿大模型梯队,却遭开发者实测翻车,引发刷榜作弊争议,梳理了模型优缺点与Meta的AI战略布局。
新智元
新闻资讯9
Meta新旗舰碾压GPT-6 Opus杀回前三
Meta发布两款全新旗舰大模型Muse Wonder与Muse Wonder Full,多项基准测试反超GPT-6 Astra和Claude Opus,长任务编程、专业能力测试表现领先,依托吉瓦级超算训练,已正式上线开放服务。
新智元
新闻资讯9
硅谷三大巨头集体冲刺RSI
本文曝光硅谷AI巨头谷歌、OpenAI、Anthropic暗中集体冲刺递归自我改进(RSI)技术,多家已出现AI自主写代码、优化模型的早期迹象,业内热议RSI或将加速超级AI到来,带来不可控的生存风险。
新智元
新闻资讯9
Meta推重磅Muse模型 多项数据屠榜
本文报道Meta超级智能实验室成立一周年发布重磅新模型,Muse Wonder模型家族多项测试成绩顶尖,仅落后Opus 5.5两分,具备四大核心能力,解决行业跑分虚高痛点,现已正式上线。
AI寒武纪