「扩散Transformer」共找到 468 篇相关文章
从Transformer到GPT-5，听听OpenAI科学家 Lukasz 的“大模型第一性思考”
2017年《Attention Is All You Need》提出Transformer架构，重塑AI版图。其作者“Transformer八子”中，Lukasz Kaiser加入OpenAI，参与GPT-4、GPT-5等研发。他10月将出席大会分享见解，曾预言多模态等趋势已渐成现实。
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
谷歌在NeurIPS 2025发布两项大模型新架构研究，通过‘测试时训练’机制，推理阶段可将上下文窗口扩展至200万token。新成果Titans和MIRAS结合RNN速度与Transformer性能，突破超长上下文瓶颈。
扩散模型+自进化：这篇论文让Deep Researcher错误率直降70%
论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。
万字详解GPT-6 Astra，Sebastian Raschka带你读懂循环Transformer与隐藏的思维链
著名技术博主Sebastian Raschka针对GPT-6 Astra的循环Transformer设计与隐藏思维链争议，万字详解技术细节，分享Astra实测表现，梳理循环Transformer技术演进，澄清相关误解。
扩散语言模型扛把子LLaDA迎来新版本，数学、代码、对齐能力均提升
中国人民大学与蚂蚁集团团队基于前期 8B 扩散语言模型 LLaDA，提出方差缩减的偏好优化方法 VRPO，推出 LLaDA 1.5。它在数学、代码、对齐任务上性能提升，VRPO 为扩散语言模型对齐提供框架。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
新范式来了！新能量模型打破Transformer++扩展上限，训练扩展率快35%
研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。
跳过“逐字生成”！蚂蚁集团赵俊博：扩散模型让我们能直接修改Token | MEET2026
在量子位MEET2026智能未来大会上，蚂蚁集团赵俊博称扩散架构能直接修改控制token，理论上速度更快、成本更低。他团队押注扩散架构，近期开源千亿规模LLaDA 2.0。该领域虽处早期，但发展快，吸引众多巨头和初创公司布局。
国产AI首次「长出」原生记忆，非Transformer架构成新王！机器狗当场引爆WAIC
WAIC世界人工智能大会上，国产黑马RockAI的大模型Yan 2.0 Preview亮相，可多终端无损部署。它基于非Transformer架构，训练效率高，有原生记忆，实现端侧AI，展现出自主学习和多模态能力，引发关注。