「语音多模态」共找到 1186 篇相关文章
ICML 2026 | 将多教师冲突转化为动态约束，破解多模态大模型推理对齐难题
在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。
神秘「牛来」模型果然是智谱！GLM首个原生多模态，还用的国产卡
神秘模型「牛来」真身曝光，是智谱刚开源的 GLM - 5.3 Flash，为 5 系列首个原生多模态模型。它尺寸小能力强、价格低，用国产卡，实测多模态和 Coding 能力出色，架构全新，开源后将模型、算力和生态结合。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
ICML 2025｜多模态理解与生成最新进展：港科联合SnapResearch发布ThinkDiff，为扩散模型装上大脑
现有扩散模型缺乏多模态推理创作能力，在算力和数据不充裕时实现该功能是难题。ICML2025上，港科联合SnapResearch提出ThinkDiff，以较少资源让扩散模型有思考能力，开辟多模态理解生成新路径。
阿里开源 Qwen3-TTS 全家桶！语音设计、克隆、生成全打包，开源 2 天 3K Star！
阿里通义团队开源 Qwen3 - TTS 全家桶，含语音设计、克隆、生成功能，开源 2 天获 3K + Star。它有秒级克隆、语音设计等能力，有 0.6B 和 1.7B 两种规格，双轨架构等技术创新保障性能。
5个月估值120亿！OpenAI前CTO自曝首个多模态AI，竟要免费开源
OpenAI前CTO Mira Murati创立的Thinking Machines Lab获20亿美元融资，估值达120亿美元。未来几个月将发布首个多模态AI产品，还会开源部分组件，团队全力构建多模态AI以增强人类能力。
NeurIPS 2026｜克隆得像，就够了吗？RVCBench系统评测18个语音克隆模型的真实世界鲁棒性
本文介绍被NeurIPS 2026接收的研究工作，英属哥伦比亚大学与Vector Institute团队提出RVCBench，沿语音克隆全流程拆分四个维度鲁棒性，系统评测18个代表性开源模型，且开源了可pip安装的通用评测工具包，助力语音克隆鲁棒性与安全研究。
工具增强的多模态LLM综述
多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
智源悟界·RoboBrain Orca：多模态表征世界模型
智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。