新闻资讯8
SubQ:颠覆传统Transformer的长上下文模型
机器之心
AI 摘要
Subquadratic联合创始人Alexander Whedon:SubQ是LLM智能重大突破,是首个1200万token上下文窗口的前沿模型,成本不到Opus的5%,有望降低计算量近1000倍,提供新扩展路径。
阅读原文 · 机器之心
领先于Transformer!新架构首个1200万上下文模型SubQ,成本仅Opus的5%
Subquadratic公司提出SubQ模型,核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配,让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型,成本低、速度快,有望革新大模型扩展路径。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
清华Jev-LDE:一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习(ICL)中示例选择成本高、效果不佳的问题,提出Jev-LDE方法,仅对初始检索示例做一次局部编辑,即可大幅提升1-shot准确率,推理成本增量很低。
机器之心
推荐文章9
陶哲轩:AI开启数学2.0时代
本文报道菲尔兹奖得主陶哲轩发表《数学2.0》演讲,梳理近期AI接连攻克重大数学难题的进展,提出AI将数学带入证明过剩的新时代,警示人类不能丢失对数学的理解,呼吁人机合作增强认知。
新智元
新闻资讯9
Gemini 4 Argon实测,谷歌归来
本文带来谷歌新发布Gemini 4 Argon大模型的多场景实测,对比竞品性能价格,验证其物理推理能力,同时曝光该模型现存问题。
新智元
新闻资讯9
谷歌Gemini 4 Argon全球可用
本文报道谷歌正式全球上线Gemini 4 Argon,详细说明了开放范围与定价规则,放出大量谷歌内部及合作方的实际应用案例,覆盖多领域,回应了此前对该模型实用性的质疑。
AGI Hunt