搜索：扩散Transformer

「扩散Transformer」共找到 462 篇相关文章

科学家发现大脑中的“旋转风暴”，其结构竟类似Transformer注意力机制

2026年6月18日，叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波，总结特征、验证其与全脑及行为关联，还指出其类似Transformer注意力机制，未来将继续深入研究。

随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。

扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。

谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。

南洋理工大学陶大程教授团队联合发布评测报告，揭示扩散语言模型在智能体能力上有系统性缺陷，落后自回归模型。还分析其失败原因，提出评测框架，明确能力边界并给出研究建议。

KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。

南洋理工、北航与合工大联合提出CARE Transformer，以非对称解耦建模局部与全局，降低计算开销、提升特征表达。实验显示其在移动端低延迟高精度，打破“效率与精度不可兼得”困局。

文章由浅入深介绍LLM基础知识，着重解析Transformer原理，结合案例讲解其工作流程，还介绍当前开源旗舰LLM架构变化，如DeepSeek V3等模型的创新，最后强调模型能力与应用形态的关系。

随着扩散模型广泛应用，其安全问题凸显。天津大学团队论文系统梳理文生图模型攻击方式、风险类型、威胁场景与防御体系，指出当前防御不足，需建立更体系化防护体系。

视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。