「语音多模态」共找到 1186 篇相关文章
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
抛弃预定义Tool，首次提出通过动态工具生成的Agentic多模态Reasoning，破31%涨幅
视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。
细粒度视觉推理链引入数学领域，准确率暴涨32%，港中文MMLab打破多模态数学推理瓶颈
香港中文大学MMLab团队发布MINT - CoT视觉推理方案，解决多模态数学推理难题。它引入特殊Interleave Token，构建专属数据集，采用三阶段训练策略，实验效果全面超越现有方法。
AI文本转语音进入“Next Level”！独角兽ElevenLabs发布Eleven v3：狠狠拿捏情感控制
独角兽ElevenLabs发布最新版TTS模型Eleven v3，支持70多种语言，能进行多人对话，生动展现情绪语气。官方称其为“迄今为止最具表现力的文本转语音模型”，网友实测好评居多，但中文效果不如英文。
ICCV2025 | One image is all you need，多模态指令数据合成，你只管给图，剩下的交给Oasis
近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。
21.7K 标星的开源TTS！FishAudio开源情感语音核弹：200万小时炼成“声优AI”！
FishAudio团队推出新一代TTS语音模型OpenAudio S1，基于200万小时音频数据训练，采用Qwen3+Descript Audio Codec架构。它能实现情感表达，在TTS - Arena榜单登顶，还提供不同版本适配，适用场景广泛。
超越O4-mini，多模态大模型终于学会回头「看」：中科院自动化所提出GThinker模型
现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。
识别1600+种人类语言，支持少样本扩展到5400+种语言，Meta自动语音识别模型开源
Meta AI发布Omnilingual ASR自动语音识别模型并开源。它能转录超1600种语言，含500多种首次被AI理解记录的语言，还可通过少样本扩展到5400多种，改变了多语言ASR构建范式。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。