「扩散变换器」共找到 246 篇相关文章
打破碎片化瓶颈！浙大&哈佛开源UniGeo，高保真相机可控编辑
当前主流相机可控图像编辑基于图像扩散模型，应对连续相机运动易出现问题。近日，浙大联合哈佛发布UniGeo框架，在三核心层面注入统一几何引导，克服结构退化，提升视觉质量与跨视角一致性。
RAE的终极形态？北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑
北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。
首次实现第一视角视频与人体动作同步生成！新框架攻克视角-动作对齐两大技术壁垒
新加坡国立大学等联合发布EgoTwin框架，首次实现第一视角视频与人体动作联合生成，攻克视角-动作对齐与因果耦合瓶颈。它基于扩散模型，通过三大创新设计解决难题，实验性能超基线。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
80%美国AI初创靠中国开源模型“吃饭”！a16z投资人震惊，全球开源榜前16名全被中国包揽
Reddit上“中国开源AI模型席卷美国初创”帖子爆火。a16z合伙人Martin Casado称80%美国AI初创融资路演用中国开源模型。Design Arena榜单前16名开源模型全是中国的，中国开源模型优势尽显。
免剪辑直出！AI生成多角色同框对话视频，动态路由精准绑定音频
Bind-Your-Avatar基于扩散Transformer框架，通过细粒度嵌入路由将语音与角色绑定，实现精准音画同步，还引入数据集MTCC和基准测试，实验显示其在身份保真和音画同步上优于现有方法。
画质重生，第一！腾讯TEG香农实验室斩获CVPR 2025 UGC Video Enhancement 冠军
CVPR NTIRE是计算机图像恢复与增强领域有影响力的赛事。在NTIRE 2025 UGC Video Enhancement中，腾讯TEG香农实验室团队自研算法夺冠，成果落地提升视频清晰度。团队还参加实时赛道获佳绩，且做了硬件推理优化。
谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源
谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。
彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器
商汤科技联合南洋理工大学发布NEO - unify，这是“原生、统一、端到端”多模态模型架构，砍掉VE和VAE，用混合变换器架构打通视觉与语言能力，提升数据与算力利用效率，为跨模态智能系统奠基。
40倍推理加速！复旦&微软：用「非线性流」拟合复杂轨迹，2步生成媲美原画
ArcFlow是复旦与微软提出的图像生成加速方案，引入非线性流拟合复杂轨迹。它在仅2步推理下保持画质，实现约40倍推理加速和4倍训练收敛加速，微调极少参数，在多模型验证效果出色。