搜索：视频扩散Transformer

「视频扩散Transformer」共找到 1372 篇相关文章

豆包19亿次互动背后的技术真相：春晚级体验是如何炼成的？

2026 年春晚 AI 元素亮眼，豆包 AI 互动达 19 亿次。火山引擎作为独家 AI 云合作伙伴，用智能视频云等技术打造节目效果，解决视频画质、空间逻辑、机器人互动延迟等难题，还保障全民互动和实时字幕。

Transformer有力挑战者Mamba的最新版本Mamba-3进入ICLR 2026盲审。它有三大改进，在长文本处理、实时推理和成本优化有优势。此外，FBAM也从不同角度探索Transformer下一代框架。

自媒体内卷，‘视频转图文’是流量入口，简单截图难满足需求。clipsketch - ai 开源项目用 Gemini 3 Pro 和 Nano Banana Pro 模型，实现视频理解、AI 绘画和写作自动化，解决创作者素材整理、版权等痛点。

2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。

扩散策略成机器人控制热门路线，但真实世界动力学多变，策略易失灵。UC Berkeley等联合提出DADP，训练统一策略，在零样本跨域控制任务表现强，尤其在OOD场景优势明显，还给出工程补充结果。

文章认为2026年多模态技术将有大发展，世界模型轮廓渐清。文中对比语言、视频生成模型，指出世界模型优势，分析实时视频与3D结构化两条路线，介绍不同公司产品并以四象限框架分类。

上海人工智能实验室等多机构推出多模态生成与理解统一模型Lumina - DiMOO，采用全离散扩散架构。它解决传统多模态架构问题，有全离散扩散建模等四大创新，性能在多基准测试中领先，应用前景广。

清华大学和快手可灵团队推出DiffMoE，通过创新的动态token选择机制和全局token池设计，拓展了扩散模型的效率与性能边界。实验表明，DiffMoE在多方面超越现有模型，未来集成先进技术或有新增益。

北大卢宗青作为具身大脑创业者，认为现阶段世界模型和 VLA 未触及本质。他指出互联网视频数据是唯一可规模化的道路，其创立的「智在无界」正标注互联网视频中人类关节动作让模型学习。

近年来大语言模型在长篇视觉叙事中潜力卓越，但长视频剪辑仍难控制。中科大等团队开源工作从系统工程视角研究多模态智能体在长视频编辑中的机制，重构剪辑管线，找到症结并给出解决办法。