「扩散Transformer」共找到 462 篇相关文章
dLLM的「Free Lunch」！浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来，扩散大语言模型（dLLM）成为文本生成新势力，生成效率高。但现有解码策略忽视中间迭代信息，研究团队观察到「先对后错」现象，提出 TCV 和 TCR 方法，显著提升模型在推理任务表现。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。
微软等提出「模型链」新范式，与Transformer性能相当，扩展性灵活性更好
随着大语言模型发展，扩展 Transformer 架构成趋势，但参数规模增长带来训练负担。微软等研究者提出 CoR 概念，构建模型链学习范式，应用于语言模型得 CoLM 系列，实验显示其性能相当且扩展性、灵活性更好。
一键开关灯！谷歌用扩散模型，将电影级光影控制玩到极致
Google推出LightLab项目，可从单张图像精准控制光影，解决传统光影控制难题。其通过特殊数据集微调扩散模型，让模型学会控制光照，还介绍了方法、后处理流程等，实验显示表现优，有多种应用。
推理效率狂飙60倍：DiDi-Instruct让扩散大模型16步超越千步GPT
普渡大学等研究者提出 DiDi-Instruct 后训练方法，可将扩散大语言模型推理加速 60 倍，超越传统 GPT 模型。该方法实现推理效率与效果双提升，为大语言模型落地提供新方案。
马斯克刚刚真把 𝕏 平台推荐算法给开源了，核心也是Transformer
𝕏平台（原Twitter）将全新推荐算法开源，由与xAI的Grok模型相同的Transformer架构驱动。该算法预测用户行为对帖子排序。此前平台因算法问题被调查和罚款，开源或有此原因。
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
Transformer八子初创：AI横扫NP难题竞赛，Top 2%选手竟是智能体！
Transformer作者Llion Jones初创公司测试AI智能体，其在NP难题竞赛中排第21。Sakana AI与AtCoder合作构建ALE - Bench，设计ALE - Agent参赛成绩优异，不过它也有调试难等局限，未来待改进。
这个扩散LLM太快了！没有「请稍后」，实测倍速于Gemini 2.5 Flash
AI初创公司Inception Labs推出首款专为聊天定制的商业级扩散LLM——Mercury。它速度超快、效率高，能实时响应对话。实测显示其速度优于Gemini 2.5 Flash等，不过生成质量有待提升。
NeurIPS 2025 Best Paper | 扩散模型不为人知的“时间差”：为什么先学会创作，后学会抄袭？
深度学习中，扩散模型能生成新图像且抗过拟合。巴黎高师和博科尼大学研究团队论文指出，这源于隐含的动力学正则化，训练分两阶段，数据量增加会拉开‘泛化窗口’，还给出数学解释。