搜索：实时语音推理

「实时语音推理」共找到 2543 篇相关文章

The Batch: 939 ｜在推理阶段学习长上下文

大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。

华为小艺香港团队等研究人员提出上下文一致性解码算法（CCD）。它解决传统DLM推理“短视”和采样预算固化问题，在开源DLMs上实现3.48倍加速和3.9%性能提升，适配多种解码设定。

DeepMind推出的SIMA 2，可让智能体在虚拟环境中边聊天边进行复杂多模态推理。它整合Gemini能力，从指令执行者变为互动伙伴，有强大迁移泛化与自我提升能力，是迈向AGI重要一步，但也面临一些挑战。

Netflix分享Service Topology系统细节，它为数千微服务创建实时依赖关系图，合并三类数据源，近实时更新。开发动机源于工程支持请求常见问题，现有工具无统一视图。未来将加入部署和配置变更事件。

2025年8月OpenAI发布gpt - oss，作者受相关项目启发，用约1000行Java代码实现gpt - oss推理引擎并发布在亚马逊官方github。文章分享开发体会，介绍模型架构、Java实现、性能优化等内容。

文章介绍用 OpenCode 结合 DigitalOcean 推理路由器开发点球大战游戏 PK Shootout。其按任务选模型，多数任务路由到 MiMo V2.5 和 GLM - 5.2，成本约 8.25 美元，远低于只用前沿模型。文中还分析开发各环节及适用场景。

2月3日，云天励飞董事长陈宁在战略前瞻会表示要All in AI大算力推理芯片，打造“中国版TPU”。他认为2025 - 2035年是推理芯片高光时刻，还介绍了公司技术壁垒、差异、战略及生态等内容。

团队提出关键表征微调（CRFT）方法，通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性，能提高推理准确率，学习参数量低，还适应少样本场景。

优步在Uber Eats推荐系统引入实时用户信号与Listwise排序法，用实时信号处理层替换早期特征流水线，还引入Listwise排序优化候选餐厅排序，降低特征漂移，保障系统性能。

OpenAI 介绍为全球规模低延迟语音 AI 调整 WebRTC 架构，将传统媒体终结模型换为中继收发器架构，分离职责，避免复杂逻辑堆砌与转嫁。此架构为实时语音技术布局补充基础设施细节，对架构师有参考价值。