搜索：零样本语音合成

「零样本语音合成」共找到 606 篇相关文章

面向长时语音与声音克隆的全模态开源万能聊天机器人MGM-Omni

文章介绍了全模态开源聊天机器人MGM - Omni，它基于MiniGemini，支持多模态输入输出，具备长语音理解、生成、流式生成、零样本语音克隆等特性，还给出安装、使用方法，展示评估结果。

目前大模型大多只能输出文本，人机音频交互不顺畅。Step - Audio团队开源端到端语音大模型Step - Audio - AQAA，能直接听懂音频问题并合成语音回答，介绍了其架构和各核心模块。

微软亚洲研究院提出全新语音生成模型 VibeVoice，采用 next - token diffusion 机制，能将文字脚本转为最长 90 分钟、最多 4 人对话的高质量播客音频，在多方面有显著优势，未来潜力大。

在大模型浪潮下，语音领域迎来“整合与统一”趋势。阿里蚂蚁团队推出端到端统一语音模型Ming - UniAudio，能在一个框架下完成识别、生成、编辑等任务，语音编辑能力创新，开发者上手简单。

最新研究提出合成数据全新分类框架，突破‘生成模型=合成数据’传统认知，涵盖多种方法。还按应用层次划分场景，指出合成数据面临模型坍塌等挑战，正成新型基础设施。

Meta发布全新自动语音识别系统Omnilingual ASR，支持超1600种语言，核心创新是零样本和少样本学习能力，降低小语种语音识别门槛。项目提供不同规模模型，安装调用简单，目前仅支持40秒内音频，数据集和项目均开源。

在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。

逻辑智能发布全球首个完全开源语音大模型框架LLaSO，它像“全家桶”，提供高质量数据、统一评测基准和强大基础模型。语音大模型发展遇瓶颈，LLaSO框架及参考模型LLaSO - Base有望打破僵局。

蛐蛐（QuQu）是开源桌面应用，用本地语音识别模型和配置的大语言模型，将语音实时转文字并润色。它主打本地语音工作流，替代Wispr Flow，免月费且保护隐私，适合中文用户。

Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。