搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1763 篇相关文章

Rex-Omni：用 3B 模型颠覆目标检测

长期目标检测依赖传统坐标回归模型，MLLMs方法存在不足。IDEA研究院提出30亿参数的Rex - Omni多模态大模型，在零样本测试中表现超现有回归模型，还具备丰富语言理解能力，有独特设计和训练流程。

Seedance 2.5升级，3D导演台自带图片生成白模功能、打通3D工作流；有片段重拍实用功能；小云雀升级角色资产能力。除素材增加，其更理解原视频创意逻辑，还有多模态参考等功能，降低创作门槛。

WAIC现场，声网展台被观众挤爆，其新奇“AI玩具”都能与玩家流畅对话。声网对话式AI引擎全新升级，新增选择性注意力锁定、视觉理解能力，能与主流数字人方案集成，还可接入大模型，价格低。它已在多领域落地。

过去 AI 分子设计多困于‘模态孤岛’，难以跨模态理解和设计。诺奖得主实验室走出的中国团队推出 ODesign 开源项目，将多模态分子纳入统一框架，展现跨模态迁移能力，团队创立英灵殿科技欲重构药物研发流程。

近期模型发布竞争激烈，作者做视频字幕常遇识别错误，因语音识别工具缺上下文。字节方舟的豆包 Seed 2.0 Lite 升级后能听，还可结合上下文准确输出字幕，成本降 20%，也能理解视频，为工作流补全感知。

文章介绍开源项目NeuTTS Air，它是免费、轻量级超逼真语音合成模型，仅0.5B参数，媲美商用TTS引擎，能在低功耗设备运行，支持3秒音频克隆声音，还给出使用步骤和应用场景。

VoiceCraft 是多团队合作推出的零样本语音编辑与 TTS 开源项目。它能几秒克隆语音，实现编辑功能，支持零样本文本转语音，在真实场景音频中性能超 XTTS - v2、VALL‑E 等模型，解决了内容创作和编辑痛点。

计算机视觉行业从追求识别能力转向关注视觉系统对真实世界的理解。CVPR 2026研究中，多视角、事件视觉、开放集3D生成和相机运动轨迹被引入视觉理解，多篇论文从不同侧面推动视觉系统走向对真实世界的理解。

图灵奖得主Yann LeCun宣布离职Meta创业，新公司聚焦高级机器智能（AMI），继续其“世界模型”研究。他是LLM批评者，认为其无法理解物理世界，新公司目标推动AI重大革命。

商汤科技联合南洋理工大学发布NEO - unify，这是“原生、统一、端到端”多模态模型架构，砍掉VE和VAE，用混合变换器架构打通视觉与语言能力，提升数据与算力利用效率，为跨模态智能系统奠基。