搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1763 篇相关文章

2.4K Star！小米最新开源！覆盖600+语种的语音克隆TTS，40倍实时合成速度！

小米k2 - fsa团队开源OmniVoice，这是支持600 + 语种的零样本语音克隆TTS模型，性能超ElevenLabs v2和MiniMax等标杆，RTF低至0.025，合成速度快40倍，还支持声音设计等功能。

小红书智创音频团队推出业内首个支持私有化部署的全双工大模型语音交互系统FireRedChat，可将半双工链路升级为全双工，提供级联与半级联服务，在多指标领先，让AI有“人感”。

小米语音首席科学家Daniel Povey在量子位MEET2026大会提出，AI发展像生物进化，是不断试错过程，开源是核心加速器，没开源行业进化或慢千倍，大公司应“两条腿走路”。

今年是AI应用大规模落地年，参数小的端侧模型有特定场景性能优势。5月11日面壁智能开源MiniCPM-V 4.6，参数仅约1B，多模态能力超阿里、谷歌同类模型，还在多维度提升，站稳端侧多模态开源领域。

豆包语音团队发布「AI 多人有声剧」自动化方案，基于多角色 Seed - TTS - 2.0 模型，实现从小说文本到有声剧成品端到端 AI 制作，成本和周期大降，首批有声剧已在番茄小说 App 上线。

上海大学曾丹团队联合南开揭示Vision - Language Models中普遍的attention偏置问题，提出无需重训的去偏方法，在多模型、策略及基准上验证有效性，为多模态模型部署提供新思路。

字节Seed提出M3 - Agent，这是首个融合实时视听输入、类人记忆构建与自主推理的多模态智能体。它模仿人类记忆机制，解决长视频理解痛点，已被CVPR 2025收录并开源代码，为通用人工智能奠定基础。

AI教父杰弗里·辛顿在WAIC开幕式演讲，对AI发展警惕且悲观。他认为LLM真理解语言，数字智能与生物智能差异大，AI进化快很危险，人类应全球合作研究让AI向善。

360推出FG-CLIP2图文跨模态VLM模型，在八大类任务、29项测试中超越Google与Meta。它能像素级看图，中英文皆强且已开源。其优势源于高质量数据集和先进训练方法，还在多业务落地并开放API。

在AI大模型时代，大家想让模型更个性化。最近GitHub爆火的开源项目`WeClone`，用微信聊天记录训练专属AI打造数字分身，还能语音克隆。它全链路覆盖、支持多模型，有隐私保护等特色，操作也有介绍。