「实时语音推理」共找到 2543 篇相关文章
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
VoxCPM2：无tokenizer语音合成，高保真声音克隆
VoxCPM2突破传统TTS系统局限，直接操作连续声学特征，保留音色纹理更完整。基于扩散自回归架构，有硬核技术指标，提供三种克隆模式，性能佳，生态完善，微调便捷，但也存在安全风险。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
大模型幻觉检测新方法：实时高亮不确定内容
来自苏黎世联邦理工学院等机构团队，开发流式幻觉检测器，能在生成过程中即时标记幻觉实体。核心是识别具体“实体”是否虚构，实验表现出色，团队已将数据集和代码开源，有局限但应用前景好。
Agent 开发范式演进：从环境工程出发，“简化”多源实时上下文
本文整理自阿里云沈林在2026中国生成式AI大会分享。探讨企业级Agent落地瓶颈，指出关键在上下文供给能力，围绕信息完备性等五维度，介绍EventHouse如何让Agent接入业务环境，强调构建上下文体系重要性。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。