「流式视频理解」共找到 1681 篇相关文章
阿里开源电影级AI视频模型!MoE架构,5B版本消费级显卡可跑
阿里开源新一代视频生成模型通义万相Wan2.2,含文生视频等功能。它率先将MoE架构用于视频生成扩散模型,5B版本可在消费级显卡部署。对比前代和Sora表现更优,还推出电影级美学控制系统。
原来Veo 3早有苗头!人大联合值得买科技在CVPR 2025提出全新「图像到有声视频」生成框架
中国人民大学与值得买科技团队在CVPR 2025提出JointDiT框架,可从静态图像生成同步音视频。此研究定义图像到有声视频生成新任务,解决音视频融合难题,实验显示其效果优,还将拓展至四模态建模。
首个接入GPT-5的视频Agent!一句话生成商业级广告大片,分镜配音字幕等全包了
AI视频生成进入Agent时代,Video Ocean是首个接入GPT - 5的视频Agent,输入提示词就能自动完成分镜、画面等生成爆款视频。它有自动化创作生态系统,操作简单,新手也能上手。
SOTA级视频编辑新方法:无需训练一句话编辑视频,背景保持100%
传统视频编辑工作流被AI重塑,但现有AI方法存在问题,多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector,开销低、支持广且能100%保持背景,还采用新策略优化。
马斯克宣布:Grok学会看片了!无字幕看懂陶哲轩菲奖级难题
马斯克宣布Grok可分析任何视频。它能对伪造视频鉴假溯源,但也有处理画面靠字幕、有幻觉问题和效果不稳定的缺陷。实测中它能理解无字幕视频,还整理访谈内容。这功能虽便利,但引发人类能力退化担忧。
阿里发布首个「音视频实时交互」模型,实现数字人实时视频聊天
阿里发布原生流媒体端到端模型Wan - Streamer v0.1,能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作,延迟低,具备端到端多模态统一、低延迟等特点。
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
The Batch: 937 |OpenAI 退出视频生成领域
OpenAI计划关闭视频生成器Sora,将资源重新分配到更有盈利性的投资中。Sora虽能生成高质量视频,但生成耗时久、计算成本高,日亏损约100万美元,其与迪士尼的合作也将结束。
多人会话视频生成新突破:香港科技大学,浙江大学用单人数据实现多人交互视频生成
香港科技大学、浙江大学等开源 AnyTalker,提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略,以少量数据实现多人视频生成,还构建评估指标,性能超现有方法。
每秒生成超30帧视频,支持实时交互!自回归视频生成新框架刷新生成效率
微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架,通过帧内并行采样、帧间自回归等方式,让视频生成在保持高质量的同时,效率大幅提升,还采用多项技术进一步优化。