Transformer专用芯片」共找到 916 篇相关文章

算法论文8

欲取代transformer的SSA(次平方稀疏注意力)解读

文章解读了欲取代Transformer的SSA(次平方稀疏注意力)算法。它支持12M tokens上下文,比fastAttention快52倍,训练和推理更快。SSA改变了注意力扩展特性,有计算和内存线性扩展等特性,经三阶段训练可可靠利用长上下文。

Agent的潜意识
推荐文章7

「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」?

本期机器之心PRO会员通讯解读3个AI业内要事,包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况,以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS,还提及业界对LLM记忆力的改进方案。

机器之心
新闻资讯8

Transformer论文作者之一Noam Shazeer宣布离开Google,加入OpenAI

6月18日,Google DeepMind工程副总裁、Gemini模型联合负责人Noam Shazeer宣布离开Google加入OpenAI。他是Transformer架构提出者之一,技术实力强。Google曾花27亿美元请他回归,仍没留住。

DeepTech深科技
新闻资讯7

布林坦承谷歌低估Transformer,“还被OpenAI挖走了Ilya”

谷歌创始人谢尔盖・布林回母校演讲,复盘谷歌发展,承认曾低估Transformer,让机会给OpenAI。还回顾谷歌诞生、AI掉队又靠Gemini 3翻盘的历程,给出对大学生、创业者建议,反思退休决定。

量子位
新闻资讯8

突破“卡脖子”!清华学覇在这个芯片领域做到世界第一

曾中国做不出自己的CIS芯片,如今格科微已称霸中低端市场且冲向高端。创始人赵立新2003年成立公司,历经波折,现转型Fab - Lite模式,高端转型初见成效,还将开拓汽车CMOS图像传感器业务。

芯师爷
算法论文8

Transformer祖传设计遭暴击,COLM顶会三篇论文发难

COLM 2026上,三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大;《Lost in Backpropagation》揭示输出投影层信息损耗严重;《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。

量子位
新闻资讯7

上半年谁在闷声赚钱?一文看懂芯片七板块

据财联社8月26日披露,截至8月25日,科创板39家公司业绩增幅超100%,集成电路表现突出。芯师爷按芯片设计、半导体设备等七大板块,盘点各板块企业上半年业绩,指出高增集中在部分领域,其余环节在蓄力。

芯师爷
新闻资讯8

刚刚!微软 | 发布全新一代自研AI芯片Maia 200

微软提前发布自研AI芯片Maia 200,基于台积电3纳米工艺,性能超竞品,是其异构AI基础设施重要部分,将支持多个大模型,已部署在美中数据中心,还开放Maia SDK预览。

AINLPer
新闻资讯7

4000亿国产算力航母:芯片巨头合并超算巨头

上交所披露海光信息拟换股吸收合并中科曙光并募资,两家公司A股自5月26日开市起停牌,预计不超10个交易日。海光聚焦芯片研发,中科曙光深耕服务器领域,重组方案待明确,实施有不确定性。

量子位
新闻资讯7

从宁波走出来的芯片首富,累计捐赠近百亿

我国芯片业前首富虞仁荣再次给宁波东方理工大学捐款,价值超36亿。此前他已多次捐赠,累计兑现近百亿。虞仁荣出身宁波,创办韦尔股份,并购豪威科技,带出千亿芯片巨头,还热衷慈善回馈家乡。

芯师爷