搜索：实时语音识别

「实时语音识别」共找到 781 篇相关文章

OpenAI 详解规模化低延迟语音 AI 的 WebRTC 架构

OpenAI 介绍为全球规模低延迟语音 AI 调整 WebRTC 架构，将传统媒体终结模型换为中继收发器架构，分离职责，避免复杂逻辑堆砌与转嫁。此架构为实时语音技术布局补充基础设施细节，对架构师有参考价值。

传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。

NVIDIA 开源 Live VLM WebUI，可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术，能将摄像头视频流实时传输给模型，分析结果叠加在画面上，支持多后端、多平台及多种模型。

Mirage是全球首个实时生成引擎，借助先进AI世界模型实现实时UGC玩法，支持多种游戏类型。与其他成果相比优势显著，由定制模型驱动，打破传统游戏边界，让玩家动态创造新体验。

语音合成赛道发展如早期大语言模型，路线未收敛。小红书与上海交通大学合作开源的 dots.tts，是 20 亿参数、全连续、端到端自回归 TTS 基础模型，有准确度高、可扩展等特点，还开源了代码。

随着大模型和工具增长，AI 助手意图识别遇新挑战。腾讯 PCG 团队用强化学习等方法，提升模型泛化能力，还从多方面剖析优势，最后提出未来研究方向。

本文是InfoQ翻译的OpenAI技术分享，详细公开GPT-Live实现连续有状态低延迟语音交互的架构设计，分享了架构拆分、协议优化、上线测试等实践经验与设计权衡。

推荐开源项目PersonaLive，它是基于自回归流式扩散技术的实时人像动画生成框架。能平衡画质与低延迟，用一张照片在普通显卡实现数字分身实时驱动，有低显存、无限时长等特点。

作者成峰根据用户反馈对剪辑 Skills 做了大改，替换火山引擎音视频识别模型、提升交互界面。改进包括用 API 替代本地模型、重构口误识别系统、设可视化审核界面，还介绍了简单使用方法。

过去两年视频生成模型不断提升画面参数，但传统模型生成的视频固定，用户无法干预。而世界模型可跟随操作实时渲染、动态生成世界。目前Noiz AI联合多机构发布实时可交互音视频世界模型HelixWorld 1.0，后续还将开源。