搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1763 篇相关文章

重磅发布！国家队出手解决企业跨省通信「老大难」，语音识别错误率暴降20%

企业全国语音通信业务曾面临交付周期长、AI应用门槛高的问题。联通云犀平台以「全云化架构+语音AI基座」破局，实现架构重构与AI进化，降低方言识别错误率，在多行业落地降本增效。

近日，由复旦邱锡鹏担任首席科学家的模思智能发布多说话人自动语音识别模型 MOSS - Transcribe - Diarize，性能超 GPT - 4o、Gemini 等。它解决语音领域落地痛点，跑分亮眼，还解决 SATS 方案不足，开放 API 限时免费。

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。

Sokuji 是跨平台桌面应用，用 OpenAI、Google Gemini 等 API 提供实时语音翻译。支持多系统，有桌面版和浏览器插件，适配会议场景，还具备音频可视化、虚拟音频设备等特色功能。

法国AI实验室Kyutai开源高性能TTS语音模型Kyutai TTS，基于DSM框架，支持流式输入、超低延迟与高保真语音生成，有多项亮点，还给出不同使用方式及应用场景。

AI 进入医疗领域需谨慎，此前美国引入不成熟 AI 致手术失误频发。全球首个医疗视频理解大模型元智医疗视频理解大模型发布并开源，解决了医疗视频领域的任务优化、数据缺失和无法评测痛点。

英伟达开源了Nemotron Speech ASR模型，它是低延迟、实时流式语音识别模型，单句转录锁定仅需24毫秒。其核心能力包括缓存感知、运行效率高、动态运行灵活，还被放进完整语音智能体方案。

7月26日，上海AI实验室发布并开源「书生」科学多模态大模型Intern-S1，其多模态能力全球开源第一，文本能力比肩一流，科学能力国际领先。它开创「通专融合」新范式，重构科研生产力，引发国际关注。

大模型作为产业变革核心引擎，RAG、Agent与多模态技术重塑AI与现实交互边界。本文解析技术演进脉络、实战经验与未来图景，介绍三者在各领域应用及面临挑战，为产业升级提供指引。