搜索：视频扩散Transformer

「视频扩散Transformer」共找到 1372 篇相关文章

1w颗星！本地化视频翻译配音工具！

KrillinAI是多功能音视频本地化与增强方案，面向人类用户和AI Agent。它功能全，覆盖视频处理完整链路；特点多，支持CLI调用等；还兼容多种语音识别、大语言模型和TTS服务，可Docker部署。

苹果新研究指出，在长任务、多交互的Agent式任务中，基于SSM架构的Mamba在效率与泛化能力上超Transformer。虽Mamba有局限性，但引入外部工具后性能显著提升。

文章给出根据YouTube视频生成Blog文章的提示词，涵盖核心创作原则、文章生成流程与要求、全局风格与限制等，指导创作者将视频内容转化为优质博客文章。

中国电信人工智能研究院的生成式视频压缩（GVC）技术，将视频数据压缩率干到0.02%，还能保持画面高清连贯和细节。它以‘用计算换宽带’为核心理念，在实测中表现优异，有诸多应用场景。

阿里开源 Vivid - VR 用于视频修复，基于 T2V 模型结合 ControlNet 保证画面一致性。它引入概念蒸馏训练策略，设计控制特征投影器和双分支 ControlNet 连接器，实验展现出优异表现。

现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。

本周起，符合条件的Sora用户可上传含人物照片制作视频，使用前需声明获人物同意。这是Sora受期待功能之一，有严格限制，且照片转视频功能审查更严，此为OpenAI平衡之举。

数字音频时代音频易损坏丢失，传统修复法处理长间隙不佳。本古里安大学研究人员提出基于离散扩散模型的音频修复法，经MusicNet数据集实验验证，该方法在各间隙长度上表现优异。

音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。

米哈游蔡浩宇的AI公司Anuttacon首个视频模型LPM 1.0曝光。它可通过多模态形式生成动态角色，有超绝情绪演绎、实时视频生成等能力，背后技术架构复杂，目前未正式上线。