「多模态语音理解大模型」共找到 1763 篇相关文章
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
750篇论文，彻底把统一多模态模型摸清了
未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。
Sam Altman邮件证实，OpenAI将开发硬件语音AI Agent
今天凌晨，OpenAI的Sam Altman回应删除与Jony Ive信息一事，公布与iyO交涉邮件，透露收购io是为开发硬件语音AI Agent。iyO曾邀OpenAI投资、合作，演示失败后被弃，双方因名字打官司。
Voices 能够让 Java 应用程序快速实现文本到语音转换
Voices 是开源文本转语音项目，为 Java 17 及以上应用设计，无需外部 API 或手动安装软件。可按字典或 OpenVoice 为不同语言生成音频，其使用 ONNX Runtime 加速，还介绍了使用方法和配置。
马斯克宣布用户将可语音定制X信息流
埃隆·马斯克宣布11月X平台算法将由AI驱动，开源代码会持续更新，用户能语音定制信息流。此计划引两极反应，算法也有缺陷，还面临可信度和信息茧房等问题。
语音模型也能“freestyle”？可定制角色，模拟背景音
阿里新推两款语音模型，Fun - CosyVoice3.5可基于参考音频克隆声音，优化多方面能力；Fun - AudioGen - VD能进行‘从无到有’音色设计，并模拟复杂听觉环境。用户即日起可在阿里云百炼调用。
12ms！一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战，Smart Turn将决策过程缩至12毫秒。其v3.1版有改进，新增数据集提升英语识别准确率，推出未量化版本推理更快，8MB模型性能优，已在HuggingFace开源。