「端到端实时语音模型」共找到 7917 篇相关文章
TEN VAD 开源：低延迟、高准确率，提升「语音 Agent」上限就靠它!
TEN-VAD是专为实时流式语音场景优化的开源模型，能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟，获大佬背书，在多场景是必选组件，是语音交互里易被忽略却难替代的一环。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
阿里发布首个「音视频实时交互」模型，实现数字人实时视频聊天
阿里发布原生流媒体端到端模型Wan - Streamer v0.1，能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作，延迟低，具备端到端多模态统一、低延迟等特点。
本地可运行的高质量的文本转语音模型
介绍Kyutai的Pocket TTS，一款轻量级文本转语音应用，可在CPU高效运行，模型小且低延迟，支持Python API和CLI，能语音克隆，还可在浏览器试用，目前仅支持英语，也有社区浏览器端实现。
硅谷热议：最快语音转文字模型
AI语音独角兽ElevenLabs发布Scribe v2 Realtime实时语音转文本模型，实现150毫秒超低延迟、93.5%高准确率，覆盖90多种语言，打破速度与精度不可兼得困境，此前该领域痛点多。
语音模型也能“freestyle”？可定制角色，模拟背景音
阿里新推两款语音模型，Fun - CosyVoice3.5可基于参考音频克隆声音，优化多方面能力；Fun - AudioGen - VD能进行‘从无到有’音色设计，并模拟复杂听觉环境。用户即日起可在阿里云百炼调用。
12ms！一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战，Smart Turn将决策过程缩至12毫秒。其v3.1版有改进，新增数据集提升英语识别准确率，推出未量化版本推理更快，8MB模型性能优，已在HuggingFace开源。
Stream-Omni：同时支持各种模态组合交互的文本-视觉-语音多模态大模型
中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni，能支持多种模态组合交互。它对各模态关系针对性建模，实现高效灵活的模态对齐，仅用少量语音数据就有多种交互能力。
Hermes Agent 发布更新 Herald：实时语音 + Agent 之间可以互相通信了
Hermes Agent 更新到 v0.20.0 代号 Herald，增加实时语音对话与唤醒词，可验证引用来源可信度，集成签名Webhook，支持代理到代理协议，还有性能与安全方面更新，顺应新 Agent 发展趋势。
仅需0.7秒单图像实时3D重建，开源扩散模型
单图像3D重建是计算机视觉难题，传统基于回归和生成式方法各有局限。Stability - AI开源SPAR3D模型，融合两种方法规避局限，仅0.7秒完成单图实时3D重建，实验显示性能显著优于其他基线方法。