「Transformer专用芯片」共找到 916 篇相关文章
OpenAI首款芯片问世:用AI设计,9个月流片
本周三,OpenAI 与博通合作推出首款芯片 Jalapeño,用于人工智能推理负载,由博通制造。它用 AI 设计,9 个月流片,性能未公布但早期测试显示每瓦性能优,目标 2026 年底前初步部署。
清华联手千问重塑归一化范式,让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式,但面临权衡取舍。近日,清华黄高团队联合千问团队提出SiameseNorm,构建参数共享的平行通路,实现稳定训练并提升性能。
Transformer上限触顶,Mobius能否引发下一代模型架构的革命?
自ChatGPT问世,Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构,有望解决商用等关键问题。
Transformer可以改装成Mamba了:苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba,采用‘两步走’策略,先造中间形态,再转成Mamba,避免性能崩塌。实验显示,新方法性能几乎没掉,成本逻辑改变,为模型降本重构提供新可能。
刚刚,AMD、OpenAI联合发布超强AI芯片,推理提升35倍
今天凌晨,AMD举办2025全球AI发展大会,与OpenAI联合发布Instinct MI400、Instinct MI350系列超强AI芯片。MI350推理性能提升35倍,MI400内存配置大幅提升。AMD还开源ROCm7平台,7大AI平台与其合作。
霍尔木兹海峡封锁18天后,芯片产业还能撑多久?
霍尔木兹海峡封锁18天,全球半导体产业担忧能源储备还能撑多久。芯片产业存在‘能源软肋’,关键材料供应有‘垄断性风险’,全球供应链有关联性风险,凸显了产业在效率与安全间寻求平衡的必要。
英伟达亲手终结CUDA「护城河」?传奇芯片架构师引发争议
英伟达CUDA宣布20年来最重大更新,引入CUDA Tile技术,降低开发门槛。芯片界传奇人物Jim Keller质疑此次更新是否终结CUDA「护城河」,文章分析了相关问题,指出瓦片架构对英伟达内外移植性的不同影响。
华为新架构砍了Transformer大动脉!任意模型推理能力原地飙升
即便Transformer是AI世界基石,但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构,能提升模型推理能力,且参数零增。
科学家发现大脑中的“旋转风暴”,其结构竟类似Transformer注意力机制
2026年6月18日,叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波,总结特征、验证其与全脑及行为关联,还指出其类似Transformer注意力机制,未来将继续深入研究。
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!
谷歌提出新架构,参数减少40%,训练速度较RNN提升5 - 8倍,某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略,用「保留」取代「遗忘」,还提出Moneta、Yaad、Memora三个新模型,在多任务上表现卓越。