「低延迟推理」共找到 2932 篇相关文章
KTransformers入选计算机系统顶会、与主流框架合作，趋境&清华让「异构」成为推理新范式
KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。
完全离线！开源实时语音识别神器，本地实时语音转文字，秒级延迟+说话人识别！
实时语音转文字和说话人识别需求渐长，但传统工具多依赖云端，有隐私与延迟问题。GitHub上的开源项目WhisperLiveKit是本地化语音识别方案，速度快、延迟低、支持说话人识别，适合会议等场景。
大模型推理也能“智能调度”：让奖励模型按需分配算力的动态路由机制 | ACL 2026
生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。
大神Karpathy都投的AI实时视频生成模型：直播都能立即转，无限时长几乎零延迟
AI初创公司Decart推出首个零延迟无限实时视频生成的AI模型MirageLSD，大神Karpathy都投资了。它能实时生成视频流，无时长限制且延迟低至40毫秒以下，还攻克了传统模型‘误差累积’难题。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。
利用Loop语言模型扩展隐式推理 | 直播预约
当前大语言模型依赖显式文本生成推理，未充分利用预训练数据。将介绍最新工作Ouro，Loop语言模型家族，核心创新多，虽参数少却性能优，还会讨论其推理轨迹及模型Scaling新可能。
让AI学会潜意识推理，Sapient发布类脑模型HRM
新加坡初创公司Sapient Intelligence发布仅2700万参数的分层推理模型HRM，在多项高难度推理任务上超越大模型。它绕过大模型推理困境，借鉴大脑机制，训练效率高，开源后GitHub星标突破10.3k。
LLM本质上永远无法实现真正的正确推理
日本埼玉大学荣誉教授Jingde Cheng论文指出，以ChatGPT为代表的大语言模型（LLM）本质上无法实现真正的正确推理。论文定义了“正确推理”，从逻辑和计算原理论证其局限性，为推理智能体研究指明方向。
隐形束缚：RLVR为何无法突破LLM的推理边界？
大型推理模型进展依赖带可验证奖励的强化学习（RLVR），但它能否扩展模型推理能力存疑。本文通过理论证明与实验，揭示RLVR存在“隐形束缚”，只能在基座模型初始能力内优化，难以发现新解。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。