「语音多模态」共找到 1186 篇相关文章
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
750篇论文，彻底把统一多模态模型摸清了
未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。
Sam Altman邮件证实，OpenAI将开发硬件语音AI Agent
今天凌晨，OpenAI的Sam Altman回应删除与Jony Ive信息一事，公布与iyO交涉邮件，透露收购io是为开发硬件语音AI Agent。iyO曾邀OpenAI投资、合作，演示失败后被弃，双方因名字打官司。
小米AI语音新框架：人人都能当声音导演
小米大模型应用团队提出Midasheng - audio - generate与Xiaomi Any2Speech两大音频生成框架。前者可实现全场景声音重建，后者让AI学会理解声学空间与叙事逻辑，改变了语音合成应用场景与思路。
Voices 能够让 Java 应用程序快速实现文本到语音转换
Voices 是开源文本转语音项目，为 Java 17 及以上应用设计，无需外部 API 或手动安装软件。可按字典或 OpenVoice 为不同语言生成音频，其使用 ONNX Runtime 加速，还介绍了使用方法和配置。
马斯克宣布用户将可语音定制X信息流
埃隆·马斯克宣布11月X平台算法将由AI驱动，开源代码会持续更新，用户能语音定制信息流。此计划引两极反应，算法也有缺陷，还面临可信度和信息茧房等问题。