新闻资讯8
SubQ:颠覆传统Transformer的长上下文模型
机器之心
AI 摘要
Subquadratic联合创始人Alexander Whedon:SubQ是LLM智能重大突破,是首个1200万token上下文窗口的前沿模型,成本不到Opus的5%,有望降低计算量近1000倍,提供新扩展路径。
阅读原文 · 机器之心
领先于Transformer!新架构首个1200万上下文模型SubQ,成本仅Opus的5%
Subquadratic公司提出SubQ模型,核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配,让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型,成本低、速度快,有望革新大模型扩展路径。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章7
董舒:AI数字员工催生OPC一人公司
OpenHex董舒认为AI最大价值是替人出面干活,提出数字员工概念。他指出判断力密度高的岗位易被AI取代,中国服务业有发展机会。还辨析数字员工类型,介绍其平台OPS Agent,最后分享了数字员工相关Q&A。
AI科技大本营
推荐文章8
TypeScript 之父:AI 杀不死老语言,初级工程师不会被取代
前 Meta 资深工程师 Ryan Peterman 对话 TypeScript 之父 Anders Hejlsberg,谈及 TypeScript 编译器从 JavaScript 移植到 Go 的考量,反驳‘AI 将写完所有代码’等论调,指出主流语言地位会因 AI 更巩固,初级工程师不会被取代。
AI科技大本营
产品应用8
祝毅晨团队发布世界仿真器CurrentWorld - 0
Current Robotics团队发布交互式世界仿真器CurrentWorld - 0,创始人祝毅晨履历亮眼。该仿真器能跨本体、多视角、力 - 触觉预测,可用于评测机器人,还能让人类接管以探索不同动作结果。
量子位
产品应用7
Cherry Studio:从Chat到Agent的产品重构
Cherry Studio最初是为用户在不同大模型间切换的聊天客户端,随行业从Chat转向Agent,它开启2.0版本重构,定位转向「个人Agent平台」,底层架构重写,要解决产品复杂性、完善协作等问题。
Founder Park