搜索：自回归流式扩散技术

「自回归流式扩散技术」共找到 497 篇相关文章

华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」

今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。

中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。

数字音频时代音频易损坏丢失，传统修复法处理长间隙不佳。本古里安大学研究人员提出基于离散扩散模型的音频修复法，经MusicNet数据集实验验证，该方法在各间隙长度上表现优异。

当前人像动画扩散模型在人物身份一致性上表现不佳，复旦大学联合多团队提出StableAnimator++，它是首个可学习姿态对齐的视频扩散模型，能生成自然保真的人物动画，还在保持人脸一致性上做了改进。

阶跃星辰团队探索自回归图像生成新路径，推出 NextStep-1。它直接在连续视觉空间自回归生成，架构简洁，实现端到端训练。模型有高保真生成和编辑能力，Benchmark 表现佳，但也面临稳定性等挑战。

扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。

论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。

近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。

中国人民大学与蚂蚁集团团队基于前期 8B 扩散语言模型 LLaDA，提出方差缩减的偏好优化方法 VRPO，推出 LLaDA 1.5。它在数学、代码、对齐任务上性能提升，VRPO 为扩散语言模型对齐提供框架。

近期，RAE 提出以「冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。