搜索：音视频实时交互模型

「音视频实时交互模型」共找到 1736 篇相关文章

清华-腾讯联手：音频 - 视觉多模态任务统一框架

Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。

音频驱动人体动画技术有局限，阿里夸克团队推出OmniAvatar模型。它用逐像素多层次音频嵌入和LoRA训练法，解决唇动同步等问题，适用于多领域，但也存在颜色偏移等不足。

奇绩创坛2025年春季创业营路演日，57家公司参与。项目集中在场景智能、空间/具身智能等方向，覆盖AI Agent、智能硬件等赛道，还展示了前沿科研和创业项目。文章介绍了各项目的一句话介绍、简介和团队情况。

5月13日，火山引擎在上海发布5款模型和产品，其中豆包1.5・视觉深度思考模型（Seed1.5-VL）最吸睛。它激活参数20B，性能与Gemini2.5 Pro相当，38个评测基准达SOTA，推理成本低，已开放API。

Omarchy 有望成今年最火 Linux 桌面系统、首个 Agent 时代操作系统。开发者 DHH 曾怀疑 Agent 编程，现 Quattro 代码全由 Agent 编写。DHH 做客播客，谈 Omarchy、AI 时代操作系统变化等。

Mobile MCP 是开源 MCP Server，让支持 MCP 协议的 AI 客户端操控 iOS 和 Android 设备，通过自然语言指令完成操作，解锁自动化测试等场景，但成功率有待提升，目前更适合探索性测试等。

Anthropic发布的Opus 4.7被定位为最强模型，Claude Code创始人Boris Cherny分享使用最佳实践，介绍4.7与4.6区别、构建交互编程会话方法、effort等级设置等内容。

现有生成式离线强化学习方法在复杂连续任务长程规划中易陷入局部合理但全局偏航的窘境。厦门大学和香港科技大学提出MAGE算法，采用自顶向下策略，实验显示其多任务表现出色、推理效率高。

2026年3月24日，OpenAI宣布关闭视频生成应用Sora。Sora曾惊艳全球，但因合规麻烦、行业阻击、算力成本高、商业回报低等问题走向关停。团队将转向物理AI，聚焦世界模拟研究。

春节前字节发布豆包大模型 2.0，其在 Text 领域进入榜单前十，视觉能力全球第四且成本低。它定位多模态 Agent 模型，有多种能力升级，文中用多个案例展示其强大，还强调字节重原生能力非简单蒸馏。