搜索：扩散Transformer架构

「扩散Transformer架构」共找到 2140 篇相关文章

硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构

本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。

现有扩散模型缺乏多模态推理创作能力，在算力和数据不充裕时实现该功能是难题。ICML2025上，港科联合SnapResearch提出ThinkDiff，以较少资源让扩散模型有思考能力，开辟多模态理解生成新路径。

近日，蚂蚁集团开源业界首个高性能扩散语言模型推理框架 dInfer，在基准测试中，其将 dLLM 推理速度较 Fast - dLLM 提升 10 倍以上，攻克推理瓶颈，为开发者提供高效框架，推动扩散语言模型走向成熟。

华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。

在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。

扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。

3D重建领域中，NeRF和3DGS在新视角生成时易出现伪影，影响应用。英伟达团队提出Difix3D+，将预训练2D扩散模型用于3D渲染，单步去伪影，效率高、有泛化力，实验效果领先。

DeepSeek官方GitHub代码库曝光代号“MODEL1”新模型线索，或为V4内部代号。代码显示其有重大架构变更，能并行处理稀疏与稠密计算，适配英伟达新架构。此前R1发布推动中国AI开源生态发展，新模型备受期待。

在WAIC上，RockAI推出非Transformer离线AI大模型Yan 2.0 Preview，有视觉感知跃升和自主学习能力两大提升。该公司走非Transformer路线，着重场景落地，通过“标杆战略”推动产品量产，未来构想构建“群体智能”世界。

开源多模态生成领域获架构级底层突破。上海创智学院与 Sand.ai 联合研发的 daVinci - MagiHuman 正式开源，打破开源界音视频联合同步生成三重局限。它采用单流 Transformer 架构，能力强、推理效率高。