「音视频处理」共找到 1876 篇相关文章
打破具身世界模型可执行性鸿沟 ！港中深-跨维智能团队提出EVA框架，用强化学习让视频世界模型真正“动”起来
近期，利用视频生成模型为机器人构建“世界模型”成热门路线，但存在“可执行性鸿沟”。港中深 - 跨维智能团队提出 EVA 框架，用强化学习优化视频生成，实验显示其能提升视觉规划、仿真任务成功率及真实部署稳定性，还有数据合成潜力。
视觉领域的GPT-3时刻！DeepMind首次证明Veo3模型实现对物理世界建模和推理
谷歌DeepMind研究团队论文显示，视频模型Veo 3学会‘无师自通’，能处理多种没学过的视觉任务。研究人员将其能力分四级，还做了定量评估。研究认为机器视觉或正处范式转变边缘。
仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%
Omni - LLM计算浪费严重，快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系，通过时空联合剪枝压缩视频、视觉引导筛选音频Token，大幅减少Token数量，提升性能和推理效率。
刚刚，好莱坞特效师展示AI生成的中文科幻大片，成本只有330元
AI领域发展迅速，视频生成能力提升。百度全球首发中文音视频一体化模型百度蒸汽机2.0，实现人物口型等毫秒级同步，多版本升级且价格有竞争力。实测效果好，技术上解决难题，还开创应用驱动研发范式。
AI视频生成平台
酷模Cumob AI是基于Next.js构建的AI内容生成平台，集成多AI服务提供商API，有漫画生成等工作流，具备并发处理、资源管理等优化，支持多种部署，有诸多功能特性与亮点。
快手可灵也吃上了香蕉，一通离谱prompt测试，好好玩要爆了
ChatGPT发布三周年，快手可灵AI视频「O1模型」登场，号称“全球首个统一多模态视频模型”。实测显示它能一站式搞定视频修改、镜头延展等操作，还推出了图片O1模型，在图片生成方面表现出色。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
字节推出全新视频换装框架DreamVVT
视频虚拟试穿技术受关注，但现有方法有局限。字节推出DreamVVT框架，基于扩散变换器，分两阶段试穿，能应对多种复杂场景，不过也存在依赖遮罩、复杂动作表现不稳定等问题。
刚刚微软开源视频录制技能skill-recorder
微软开源视频录制技能 Skill Recorder，能将用户完成任务的过程转化为 AI 智能体可重复执行的技能。它捕获屏幕工作会话，用 GitHub Copilot CLI 重构操作，生成可复用内容，支持多平台。