「语音多模态」共找到 1186 篇相关文章
Wispr Flow 平替, 这款开源中文语音助手，程序员真该试试,本地离线的中文语音输入神器来了（开源白嫖版）
蛐蛐（QuQu）是开源桌面应用，用本地语音识别模型和配置的大语言模型，将语音实时转文字并润色。它主打本地语音工作流，替代Wispr Flow，免月费且保护隐私，适合中文用户。
开源端到端语音大模型：直接从原始音频输入，生成语音输出
目前大模型大多只能输出文本，人机音频交互不顺畅。Step - Audio团队开源端到端语音大模型Step - Audio - AQAA，能直接听懂音频问题并合成语音回答，介绍了其架构和各核心模块。
ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力
最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。
完全离线！开源实时语音识别神器，本地实时语音转文字，秒级延迟+说话人识别！
实时语音转文字和说话人识别需求渐长，但传统工具多依赖云端，有隐私与延迟问题。GitHub上的开源项目WhisperLiveKit是本地化语音识别方案，速度快、延迟低、支持说话人识别，适合会议等场景。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
估值 7 亿美元的 AI 语音输入产品：语音输入的关键问题是听写，不是转录
AI语音输入产品Wispr Flow发展迅猛，ARR 5个月翻10倍，公司估值超7亿美元。其创始人Tanay Kothari认为，该产品与其他同类最大区别是理解用户意图，解决听写而非转录问题，还分享了产品特点等内容。
多模态开发革命！Gabber开源：图形化构建实时AI应用，效率提升10倍！
AI应用迈向多模态交互，传统开发方式周期长。开源项目Gabber是实时AI应用引擎，通过模块化与图形化简化开发，有诸多特性，还给出安装指南，适用于多种场景。
OpenAI 推出 gpt-realtime：语音智能体进入“秒回”时代，开发者直呼交互更自然
OpenAI 发布语音对语音模型 gpt - realtime，开放 Realtime API。其结合可端到端处理语音，缩短响应时间。模型语音质量、理解能力、函数调用能力提升，API 全面升级，多家企业已试点，还强化了安全措施。
别再让语音机器人“答非所问”：AI Force任务型语音对话技术总结
本文围绕企业级任务型语音Agent核心挑战，提出解决“拟人化”与“专业化”问题。介绍三段式语音对话解法、架构演进，还提及‘衍算’推理框架等技术及未来方向，团队来自蚂蚁集团AI force。