搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1763 篇相关文章

ICLR 2026 Oral｜多模态知识图谱对齐难：破解噪声关联至为关键

在数据多元化时代，多模态知识图谱能为下游应用提供数据支撑，实体对齐是构建知识图谱的核心技术。但大规模知识图谱关联与融合面临噪声和潜隐关联挑战。四川大学团队提出 RULE 方法，缓解了这些影响，论文被 ICLR 2026 接收为 Oral。

语音输入工具Wispr Flow获3000万美元融资，近20%用户付费。此前它经历转型，砍掉无消费级市场的硬件产品、大规模裁员，聚焦用户需求找到PMF。创始人复盘转型历程，分享四点关键心得。

华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。

多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。

本文实测「码上飞」AI 开发平台，它让用户用对话或语音描述需求，AI 就能做出应用。测试了美甲预约、AI 生图、私域自媒体知识付费小程序三个场景，它表现出色，大幅压缩开发成本，助普通人跨过技术门槛。

学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。

微软亚洲研究院提出全新语音生成模型 VibeVoice，采用 next - token diffusion 机制，能将文字脚本转为最长 90 分钟、最多 4 人对话的高质量播客音频，在多方面有显著优势，未来潜力大。

在RL China 2025开幕式上，汪军与图灵奖得主Richard Sutton对话。Richard认为大模型缺乏目标和奖励，分散对智能理解的注意力。他强调RL核心是从经验学习，智能原则含梯度下降等，建议将目标解读为“奖励”。

检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。