搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1763 篇相关文章

百度Qianfan-VL开源，纯国产自研昆仑芯跑出世界一流

百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。

文章介绍快手多模态大模型 Keye-VL 1.5，参数 8B 适合中小企业。它侧重短视频场景，视频理解能力强，能与业务结合，提升推荐等场景效率。还详述其架构、预训练、后训练及训练架构优化等技术细节。

传统TTS模型对个人开发者和边缘设备不友好，最近Github上开源的Pocket - TTS仅100M参数，能在普通CPU上超实时语音合成，支持语音克隆，安装简单，适合多种本地语音开发场景。

OpenAI 介绍为全球规模低延迟语音 AI 调整 WebRTC 架构，将传统媒体终结模型换为中继收发器架构，分离职责，避免复杂逻辑堆砌与转嫁。此架构为实时语音技术布局补充基础设施细节，对架构师有参考价值。

面壁提出基于扩散自回归建模的端到端语音生成模型 VoxCPM，构建于 MiniCPM - 4 之上。它克服传统离散 token 方法缺陷，实现语义与声学特征解耦，有上下文感知语音生成和零样本语音克隆能力，低延迟。

图灵奖得主 Yann LeCun 和 Google DeepMind 的 Adam Brown 就 LLM 是否真正理解世界展开争论。LeCun 认为 LLM 虽在符号操作领域出色，但难理解物理世界；Adam Brown 则觉得 LLM 正涌现对宇宙的真正理解。

Meta发布全新自动语音识别系统Omnilingual ASR，支持超1600种语言，核心创新是零样本和少样本学习能力，降低小语种语音识别门槛。项目提供不同规模模型，安装调用简单，目前仅支持40秒内音频，数据集和项目均开源。

复旦大学等机构联合发布高精度多模态数据集Real - IAD D³，提出多模态融合检测方法D³M，成果被CVPR 2025收录。该数据集含多类数据，提升检测性能，此前相关工作也被CVPR 2024收录。

自动化修复软件缺陷是长期目标，多模态问题修复受关注。慕尼黑工业大学团队提出GUIRepair，融合APR与GUI Testing知识，登上SWE - bench Multimodal榜单第一，为多模态软件自动修复开辟新路。

文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。