「推理性能」共找到 3431 篇相关文章
OpenAI自曝：AI推理砸钱越多，碾压人类越狠！
OpenAI研究员探讨推理模型时代。Noam Brown强调预训练和推理范式，指出当前AI胜在通用性。推理范式成本低、效果好，如o系列模型表现出色。首席经济学家谈AI经济影响，称其重塑企业格局。
DeepSeek推理最高提速6倍！开源研究：加装「思维进度条」，计算量减少30%
特拉维夫大学团队开发新方法，给LLM推理任务装进度条，控制推理深度和速度。提出“思维进度向量”TPV预测推理位置，干预TPV可“超频”“降频”，模型已在GitHub开源。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
推理即排序：ReasonRank反常识的2.7倍效率跃迁，新SOTA比快更快
论文提出新型排序模型ReasonRank，将深度推理能力融入排序流程，突破数据瓶颈，采用创新训练框架，效率比主流点对点排序模型快2.7倍，还介绍方法论、技术突破、实验验证等内容，指出局限与未来方向。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.27B参数硬刚思维链模型，推理完爆o3-mini-high
新加坡Sapient Intelligence推出小参数AI模型HRM，能解决复杂推理难题。它受大脑启发，提出“隐性推理”路径，准确率碾压先进思维链模型，推理能力超越o3 - mini - high，经济性突出，任务效率可百倍提升。
公开模型一切，优于DeepSeek-R1，英伟达开源Llama-Nemotron家族
英伟达推出面向高效推理的 Llama-Nemotron 系列模型，包括 Nano、Super、Ultra 等规模，具备卓越推理能力与效率，采用开放许可。模型支持动态推理切换，训练结合多方法，性能优于 DeepSeek-R1 等。
The Batch: 899 | 更划算的推理
研究人员提出 Delethink 强化学习方法，训练大模型定期截断推理 token 至固定最大数量，以限制处理长思维链成本。经测试该模型在多方面超基线，且缓解计算成本限制，为长上下文推理提供路径。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
The Batch: 863 ｜推理提高了碳排放
新研究量化推理模型时代提供更优答案的环境成本，研究人员估算14个开源权重的大模型碳排放，发现推理与排放存在权衡关系，还指出战略性部署可降低排放。