搜索：扩散Transformer

「扩散Transformer」共找到 462 篇相关文章

从检测到通用感知：构建空间智能的基础

本文整理自张磊在AICon 2025北京的分享，分析语言与视觉原生模型架构区别，介绍基于Transformer的物体检测算法及开集检测技术进展，如Grounding DINO和DINO - X，还探讨其在多领域的应用和潜力。

英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。

Pickford提出PickStyle，这是基于扩散模型的视频到视频风格迁移框架。它结合上下文–风格适配器和CS–CFG机制，能在保持画面连贯时准确迁移风格，还能避免闪烁等问题，不过也继承了基础模型部分缺陷。

面壁提出基于扩散自回归建模的端到端语音生成模型 VoxCPM，构建于 MiniCPM - 4 之上。它克服传统离散 token 方法缺陷，实现语义与声学特征解耦，有上下文感知语音生成和零样本语音克隆能力，低延迟。

AI图像编辑中扩散模型有两大难题，智象未来团队提出全新自回归图像编辑框架VAREdit，引入视觉自回归架构，提升编辑精准度与速度。模型和代码已开源，还提出SAR模块优化，在基准测试表现出色。

多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。

图像生成领域，自回归与扩散模型技术路线之争不断。腾讯混元团队发布X-Omni模型，通过强化学习提升自回归图像生成质量，能渲染长文本图像。该模型已开源，还构建奖励系统评估生成质量。

本文介绍自回归生成多视图图像方法 MVAR，能从先前视图提取引导信息增强一致性，拉近与基于扩散方法的图像质量差距。解决了多模态条件控制和数据有限问题，展示出强指令遵从与多视角一致性。

北航与清华推出3D动画框架AnimaX，结合视频扩散模型运动先验与骨骼动画可控性，让任意骨架3D角色自然动起来。其核心方法灵活控制动作，虽有局限，但为3D动画创作打开新局面。

马斯克开源𝕏推荐算法系统，这是几乎全由AI模型驱动的系统。它基于Grok - 1同款Transformer架构，通过学习用户历史互动行为推荐内容。虽获社区称赞，但算法有缺陷，马斯克也承认‘很烂’，未来将月更。