「语音多模态」共找到 1186 篇相关文章
重磅发布！国家队出手解决企业跨省通信「老大难」，语音识别错误率暴降20%
企业全国语音通信业务曾面临交付周期长、AI应用门槛高的问题。联通云犀平台以「全云化架构+语音AI基座」破局，实现架构重构与AI进化，降低方言识别错误率，在多行业落地降本增效。
击败GPT、Gemini，复旦×创智孵化创业团队「模思智能」，语音模型上新了
近日，由复旦邱锡鹏担任首席科学家的模思智能发布多说话人自动语音识别模型 MOSS - Transcribe - Diarize，性能超 GPT - 4o、Gemini 等。它解决语音领域落地痛点，跑分亮眼，还解决 SATS 方案不足，开放 API 限时免费。
数据邪修大法好：仅用文本数据就能预训练多模态大模型
多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。
将DSA注意力引入多模态，快手Keye2.0开启强化推理新范式
快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
国产王炸！上海AI Lab开源Lumina-DiMOO，开创多模态理解与生成新范式
上海人工智能实验室等多机构推出多模态生成与理解统一模型Lumina - DiMOO，采用全离散扩散架构。它解决传统多模态架构问题，有全离散扩散建模等四大创新，性能在多基准测试中领先，应用前景广。
实时语音翻译
Sokuji 是跨平台桌面应用，用 OpenAI、Google Gemini 等 API 提供实时语音翻译。支持多系统，有桌面版和浏览器插件，适配会议场景，还具备音频可视化、虚拟音频设备等特色功能。
开源TTS语音新标杆！Kyutai TTS：350ms延迟碾压全场，词级时间戳重构！
法国AI实验室Kyutai开源高性能TTS语音模型Kyutai TTS，基于DSM框架，支持流式输入、超低延迟与高保真语音生成，有多项亮点，还给出不同使用方式及应用场景。
英伟达开源上瘾了！推出了一款实时语音智能体的终极 ASR：24ms 极速锁定。
英伟达开源了Nemotron Speech ASR模型，它是低延迟、实时流式语音识别模型，单句转录锁定仅需24毫秒。其核心能力包括缓存感知、运行效率高、动态运行灵活，还被放进完整语音智能体方案。
清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线
清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。