「多模态语音理解大模型」共找到 1763 篇相关文章
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
细粒度视觉推理链引入数学领域，准确率暴涨32%，港中文MMLab打破多模态数学推理瓶颈
香港中文大学MMLab团队发布MINT - CoT视觉推理方案，解决多模态数学推理难题。它引入特殊Interleave Token，构建专属数据集，采用三阶段训练策略，实验效果全面超越现有方法。
AI文本转语音进入“Next Level”！独角兽ElevenLabs发布Eleven v3：狠狠拿捏情感控制
独角兽ElevenLabs发布最新版TTS模型Eleven v3，支持70多种语言，能进行多人对话，生动展现情绪语气。官方称其为“迄今为止最具表现力的文本转语音模型”，网友实测好评居多，但中文效果不如英文。
ICCV2025 | One image is all you need，多模态指令数据合成，你只管给图，剩下的交给Oasis
近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。
演讲 | 强化学习之父 Sutton 隔空回应 Hinton：目前的 AI “理解不足，调参有余”
强化学习之父 Rich Sutton 在 UCLA 演讲《AI 的未来》，指出当下 AI“理解不足，调参有余”，是“脆弱的心智”。他定义智能，倡导建立统一心智科学，认为应从“人类数据时代”进入“经验时代”，还谈及 AI 政治与哲学。
21.7K 标星的开源TTS！FishAudio开源情感语音核弹：200万小时炼成“声优AI”！
FishAudio团队推出新一代TTS语音模型OpenAudio S1，基于200万小时音频数据训练，采用Qwen3+Descript Audio Codec架构。它能实现情感表达，在TTS - Arena榜单登顶，还提供不同版本适配，适用场景广泛。
超越O4-mini，多模态大模型终于学会回头「看」：中科院自动化所提出GThinker模型
现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
刚刚，智谱和华为搞波大的：中国首个国产芯片训练出的SOTA多模态模型！
智谱与华为合作开源新一代图像生成模型GLM-Image，是中国首个全程用国产芯片训练的SOTA多模态模型，擅长文字渲染，拿下多项榜单第一，API调用一张图只要0.1元，还解析了其技术架构。
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。