「音视频同步」共找到 1096 篇相关文章
微软推出深度视频探索智能体,登顶多个长视频理解基准
尽管LLMs和VLMs在视频分析和长语境处理有进展,但处理数小时长视频有局限。微软提出智能体Deep Video Discovery (DVD),以简洁框架在LVBench取得高准确率,将以MCP Server形式开源。
视频生成比播放还快:开源VDN-H3,14秒视频11秒搞定
近期,网络出现“无限流”视频,源于MiniMax H3。OpenVDN团队开源Video Delta Net(VDN),基于MiniMax H3使视频生成速度提升75到90倍,14.4秒的768p视频11.23秒就能生成。它采用混合思路,性能提升显著。
ElevenLabs 发布“视频到音乐”:AI 读懂视频内容,为其创作氛围匹配的 BGM。
ElevenLabs推出“视频到音乐”功能,其“Eleven Music”模型能分析视频上下文、情绪和风格,一键生成匹配的定制背景音乐,还能添加画外音和音效,为创作者提供端到端音视频解决方案。
从「片段生成」到「长视频漫游」:OmniRoam探索轨迹可控的长视频生成新范式
在生成式视频发展中,长时序视频生成面临挑战。研究者提出 OmniRoam 新方法,通过全景表示和分阶段生成框架,提升视频时空一致性,还构建数据评测体系,实验表现优,有效率和 3D 应用潜力。
Claude 终于能“看”视频了!这个开源项目让我刷视频效率翻倍
平时找视频信息效率低,而开源项目让Claude等大模型 “看懂” 视频,能提取画面、音频并理解内容。介绍了其工作原理、帧预算、去重、细节模式等,安装使用门槛低,还给出了应用场景和项目地址。
机器人看视频学操作!伯克利首次打通互联网视频到灵巧手真机部署链路
UC Berkeley团队提出端到端流程,跑通从网络视频生成真实灵巧手实机执行轨迹链路。解决了单目RGB视频手-物交互重建、带噪声参考轨迹动作重定向及遥操作规模化难题。还给出数据筛选要点。
EasyCache:无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案
近年来,扩散模型在视频生成领域广泛应用,但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案,在多模型实验中实现大幅提速且视频质量几乎无损,为技术落地提供基础。
百度用50天将视频价格打到行业70%!内部负责人:成本优化还有空间
8月21日百度蒸汽机音视频一体化模型重大升级,实现多人有声视频一体化生成。有五大核心技术突破,价格低至行业70%。源于算力和工程优化积累,未来还会优化成本,其盈利不依赖调用次数,带动平台生态升级。
Sora 2瑟瑟发抖!通义万相2.5放大招:一句话出1080P电影,音画精准同步
云栖大会上通义万相2.5系列模型亮相,包含四大模型,视频生成模型实现音画同步突破,降低电影级视频创作门槛。它创作能力全方位升级,支持多种模态输入,采用原生多模态架构。
开源 AI 视频平台
开源 AI 视频平台集成剪辑生成器、AI 短视频、YouTube 工作室三大工具,能将长视频转短视频,为业务生成营销视频,还具备免费 YouTube 工具包。支持多平台发布,自托管永久免费。