「扩散Transformer架构」共找到 2136 篇相关文章
天下武功，唯快不破：LLM高效架构最新最全面综述
大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
跳过“逐字生成”！蚂蚁集团赵俊博：扩散模型让我们能直接修改Token | MEET2026
在量子位MEET2026智能未来大会上，蚂蚁集团赵俊博称扩散架构能直接修改控制token，理论上速度更快、成本更低。他团队押注扩散架构，近期开源千亿规模LLaDA 2.0。该领域虽处早期，但发展快，吸引众多巨头和初创公司布局。
颠覆传统认知！顶尖架构师眼中，决定职业生涯上限的不是技术能力｜独家对话一线架构大佬 Christian Ciceri
在软件开发与AI浪潮融合背景下，架构师面临新挑战。InfoQ采访Apiumhub联合创始人Christian Ciceri，探讨‘可度量、可演化的架构’理念及AI影响，Ciceri强调AI辅助而非替代人，架构需团队共创。
八年后，Meta教会了Transformer「显式思考」
10月20日Meta上线新论文《The Free Transformer》，作者François重写Transformer思维方式，造出Free Transformer新架构。它在解码器内加入随机潜在变量，让模型生成内容前先‘思考’，实验显示在多任务上性能显著提升。
Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。