「整流流Transformer」共找到 386 篇相关文章
Tokenization谢幕？H-Net登场：Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术，实现动态分块机制，嵌入H - Net可替代传统流水线。在多方面实验中，H - Net性能优于基于BPE token的Transformer模型。
Transformer传奇作者加入OpenAI！谷歌27亿美元也没留住
Transformer核心作者Noam Shazeer宣布加入OpenAI，他曾因谷歌拒绝发布聊天机器人出走创业，2024年谷歌花27亿美元请回，如今再次离开。他贡献巨大，引发AI界争抢。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
GraphRAG还在持续进化，FlowRAG让证据链自己流起来
上海AI Lab和华东师大论文提出FlowRAG，它是GraphRAG变体，把RAG检索从按相似度排文本块推向沿证据流找推理路径。在多数据集上表现不错，虽平均Relevance低于LinearRAG，但更能保证证据链完整。
OpenAI首款芯片问世：用AI设计，9个月流片
本周三，OpenAI 与博通合作推出首款芯片 Jalapeño，用于人工智能推理负载，由博通制造。它用 AI 设计，9 个月流片，性能未公布但早期测试显示每瓦性能优，目标 2026 年底前初步部署。
Transformer上限触顶，Mobius能否引发下一代模型架构的革命？
自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
Transformer可以改装成Mamba了：苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
科学家发现大脑中的“旋转风暴”，其结构竟类似Transformer注意力机制
2026年6月18日，叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波，总结特征、验证其与全脑及行为关联，还指出其类似Transformer注意力机制，未来将继续深入研究。