搜索：视频扩散Transformer

「视频扩散Transformer」共找到 1372 篇相关文章

英伟达&MIT等推出Long-RL，长视频训练速度翻倍

英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。

Transformer作者之一创立的SakanaAI推出Text-to-LoRA（T2L），简化模型适配流程，省却繁琐微调。T2L参数压缩率达80%仅降1.2%准确率，零样本场景平均准确率78.3%超现有SOTA方法，开启“一句话定制模型”时代。

上海人工智能实验室等团队提出Lumina - mGPT 2.0自回归模型，统一多种图像任务。它采用独立训练架构、统一多任务处理框架和高效推理策略，实验表现优异，后续将优化采样时间并扩展至多模态理解。

神秘模型HappyHorse - 1.0悄然登顶Artificial Analysis的AI Video Arena排行榜，在多个赛道力压Seedance等模型，呈现断层式碾压。它或出自阿里淘天未来生活实验室，据说完全开源，10号将正式发布。

上海人工智能实验室等团队提出全新生成式多模态推理范式，发布模型 DiffThinker。它打破传统定式，以图像到图像生成任务重构推理过程，在多项复杂任务中表现优于顶尖闭源模型，有四大核心特性。

Transformer八子之一Illia Polosukhin用Rust构建安全版OpenClaw——IronClaw。他指出OpenClaw有数据和资金安全风险，IronClaw以安全为核心，有多项安全设计，未来还会增加策略验证等能力。

文章介绍用NotebookLM学习Claude Code的最佳实践。有人将36篇Claude Code资料“喂”给它，生成含音视频的学习资料库。NotebookLM能多种形式输出，支持多类型输入，值得纳入日常工作流。

阿里通义实验室开源 Wan - Animate，这是用于角色动画与替换的统一框架。它构建于 Wan 模型之上，支持角色动画和角色替换两项核心功能，性能超现有算法，还通过独特设计实现多种效果。

OpenAI发布Sora 2和Sora APP，Sora 2是视频和音频生成模型，在运动质量、人物表演、音频生成等方面表现出色；Sora APP类似AI版抖音，有社交互动“cameos”功能，但产品未来尚不明朗。

谷歌发布首个原生多模态嵌入模型Gemini Embedding 2，将文本、图像、视频、音频和文档映射进同一嵌入空间，支持多模态混合输入，为AI Agent“看懂”世界提供关键基础，已展开公测。