「长语音」共找到 895 篇相关文章
从「片段生成」到「长视频漫游」：OmniRoam探索轨迹可控的长视频生成新范式
在生成式视频发展中，长时序视频生成面临挑战。研究者提出 OmniRoam 新方法，通过全景表示和分阶段生成框架，提升视频时空一致性，还构建数据评测体系，实验表现优，有效率和 3D 应用潜力。
WhisperLiveKit：本地同步实时语音转文字
实时语音转文字难题待解，现有方案各有缺陷。WhisperLiveKit项目用前沿同步语音技术解决问题，支持多语言同步翻译、实时说话人识别等，还介绍了安装、部署方式，不过效果受语言和模型等因素影响。
Claude Code 推出语音功能，但是，不支持中文
Claude Code推出语音模式，向约5%用户开放。用户按住空格说话，系统自动生成文本，支持语音与键盘混合输入，能提高录入效率，但大概率不支持中文。此外，电报率先支持OpenClaw流式实时回复。
毫秒响应延迟！开源统一语音对话模型Voila
Voila是开源统一语音对话模型，能以自发、实时且有情感的方式与人类互动。它采用全新端到端架构，响应延迟仅195毫秒，支持超百万种预构建声音，适用于多种语音应用。
无限长、零掉帧！StableAvatar口型同步全新技术
当前音频驱动头像视频生成扩散模型合成长视频时难兼顾音频同步与身份一致，瓶颈在音频建模。复旦大学提出StableAvatar，首个端到端视频扩散Transformer，能无限时长生成，还介绍原理与演示效果。
刚刚，中国语音AI连拿多项全球第一！
本文报道阶跃星辰推出StepAudio 3全系列五款音频大模型，覆盖听、说、理解、交互、创作全语音链路，拿下三项第三方评测全球第一，分析了语音AI行业从单点竞赛转向全栈体系竞争的新趋势。
美团提出首个语音交互GUI智能体，端到端语音训练能力优于传统文本训练
美团和浙大联合推出GUIRoboTron - Speech，这是首个能利用语音指令和屏幕截图端到端决策的自主GUI智能体。它解决了文本依赖问题，团队经多步骤研发，其性能评估表现佳，还给出招聘信息。
最低 306KB，这款低延迟语音检测神器太绝了！
语音交互中，VAD至关重要。新开源的TEN VAD能精准识别语音起止，是替代WebRTC VAD和Silero VAD的优选。它低延迟、高准确率、极致轻量，已被Kaldi集成，还能跨平台部署，使用方便。
本地可运行的高质量的文本转语音模型
介绍Kyutai的Pocket TTS，一款轻量级文本转语音应用，可在CPU高效运行，模型小且低延迟，支持Python API和CLI，能语音克隆，还可在浏览器试用，目前仅支持英语，也有社区浏览器端实现。
Soul App 又又又开源了！这次是实时交互数字人，支持小时级长视频甚至无限时长！
Soul App 新开源实时数字人项目 SoulX-LiveAct，解决 AR 扩散模型流式生成稳定性问题。它实现 20 FPS 实时流式推理，延迟 0.94 秒，支持无限时长，有恒定显存等亮点，可用于多场景。