「流式视频理解」共找到 1676 篇相关文章
ElevenLabs 发布“视频到音乐”：AI 读懂视频内容，为其创作氛围匹配的 BGM。
ElevenLabs推出“视频到音乐”功能，其“Eleven Music”模型能分析视频上下文、情绪和风格，一键生成匹配的定制背景音乐，还能添加画外音和音效，为创作者提供端到端音视频解决方案。
从「片段生成」到「长视频漫游」：OmniRoam探索轨迹可控的长视频生成新范式
在生成式视频发展中，长时序视频生成面临挑战。研究者提出 OmniRoam 新方法，通过全景表示和分阶段生成框架，提升视频时空一致性，还构建数据评测体系，实验表现优，有效率和 3D 应用潜力。
机器人看视频学操作！伯克利首次打通互联网视频到灵巧手真机部署链路
UC Berkeley团队提出端到端流程，跑通从网络视频生成真实灵巧手实机执行轨迹链路。解决了单目RGB视频手-物交互重建、带噪声参考轨迹动作重定向及遥操作规模化难题。还给出数据筛选要点。
阿里、南开大学发布免训练，视频大模型创新压缩方法
视频模型序列化处理影响推理速度与扩展性，传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor，用SCC方法和两步时空压缩策略，实验显示其性能优于其他方法。
EasyCache：无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案
近年来，扩散模型在视频生成领域广泛应用，但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案，在多模型实验中实现大幅提速且视频质量几乎无损，为技术落地提供基础。
统一视觉多模态与多任务！快手可灵与港科大团队发布视频生成模型，加速真实世界理解
港科大、港中文、清华和快手可灵团队提出全新视觉框架UnityVideo，统一训练多种视觉模态，让模型更懂物理规律，视频生成更真实可控，还实现零样本泛化，在多任务表现优异。
万帧实时！流式3D重建天花板，被国产开源模型打破了
蚂蚁正式开源 LingBot-Map，这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建，处理速度约 20 FPS，在多基准测试中超越现有流式方法。
用Claude Code剪视频，自动去口癖、加字幕、调色，完全免费开源
browser - use团队开源Claude Code技能video - use，可自动去口癖、加字幕、调色等。它通过转录文本和按需视觉合成图让LLM理解视频，有完整流水线和设计原则，还给出使用方法。
用“蒸汽机”生成视频，还能音视频一体化交付？
8月21日百度营销发布百度蒸汽机2.0，含多版本，有声版可音视频一体化交付。经测试，其生成视频细节佳、运动规律合理。它能解决影视业诸多痛点，成本低，还可免费使用。
开源 AI 视频平台
开源 AI 视频平台集成剪辑生成器、AI 短视频、YouTube 工作室三大工具，能将长视频转短视频，为业务生成营销视频，还具备免费 YouTube 工具包。支持多平台发布，自托管永久免费。