「音视频实时交互模型」共找到 1736 篇相关文章
打破具身世界模型可执行性鸿沟 ！港中深-跨维智能团队提出EVA框架，用强化学习让视频世界模型真正“动”起来
近期，利用视频生成模型为机器人构建“世界模型”成热门路线，但存在“可执行性鸿沟”。港中深 - 跨维智能团队提出 EVA 框架，用强化学习优化视频生成，实验显示其能提升视觉规划、仿真任务成功率及真实部署稳定性，还有数据合成潜力。
阿里又放大招！一句话，造一个能走进去的世界
阿里上线HappyOyster 1.0世界模型，一句话生成可实时探索、交互的开放世界。它与文生视频不同，能让用户参与体验。该模型有世界探索和实时导演两大功能，技术优势显著，应用场景广泛。
画质重生，第一！腾讯TEG香农实验室斩获CVPR 2025 UGC Video Enhancement 冠军
CVPR NTIRE是计算机图像恢复与增强领域有影响力的赛事。在NTIRE 2025 UGC Video Enhancement中，腾讯TEG香农实验室团队自研算法夺冠，成果落地提升视频清晰度。团队还参加实时赛道获佳绩，且做了硬件推理优化。
翁荔创业大模型首秀！告别“120亿美元估值0模型”
Thinking Machines Lab发布首个模型TML - Interaction - Small，联合创始人翁荔演示。该模型让实时交互成原生能力，响应延迟比GPT - realtime - 2.0快4倍，解决了多数AI“回合制”问题，还介绍了实现机制和公司过往情况。
直播实时离线翻译
传统离线翻译模型有延迟问题，GitHub上NoLanguageLeftWaiting开源项目把Meta的NLLB模型改造成实时同传模型，能边听边译，支持200种语言互译，还在开发推测解码功能提升速度。
开源半自动化交互工具
Automat 目标是半自主玩各种游戏，是构建通用计算机交互环境首步。目前功能限于键盘宏录制和回放，不稳定。它是进行中的项目，路线图有激进新功能。文中介绍下载、运行方法及项目地址。
视频字幕处理开源神器
卡卡字幕助手（VideoCaptioner）操作简单，无需高配置，支持 API 和本地离线语音识别，利用大语言模型处理字幕。它支持多平台视频下载处理，有专业语音识别引擎，能智能纠错、高质量翻译、调整字幕样式。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。