「推理计算」共找到 2566 篇相关文章
GPU为什么能取代CPU，成为计算领域无可争议的核心？
过去CPU是计算核心，如今GPU凭借并行处理能力崛起。在人工智能、大数据等领域，GPU优势明显，软件支持也推动其普及。未来，GPU将在更多领域发挥作用，还会与CPU融合。
NVIDIA 推出Rubin CPX，专为AI推理设计的GPU
NVIDIA发布专为大规模上下文AI推理设计的Rubin CPX GPU，性能提升显著，集成视频编解码器和长文本推理处理。新平台算力强，适用于代码生成与视频处理，多家公司将采用，2026年底上市。
Meta提出StepWiser，让模型学会“反思”自己的推理过程
Meta提出StepWiser解决大语言模型推理逻辑正确性问题。它训练生成式评判模型，通过强化学习在线训练，能解释推理步骤好坏。实验显示其远超传统方法，为构建可靠AI系统提供新思路。
GPU为什么能取代CPU，成为计算领域无可争议的核心？
文章介绍GPU取代CPU成计算领域核心的原因。对比二者架构差异，指出人工智能、大数据和HPC等领域需并行处理，GPU正擅长此。软件支持也推动其普及，未来还会在更多领域发挥作用。
推理token减少46%！Meta新方法缩短思维链，告别重复推导
Meta等联合提出元认知复用机制，让模型总结解题思路，提炼为“行为”存于“行为手册”。实验显示，该机制在数学基准测试中显著优化，保持准确率时最多减少46%推理token使用量。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
性能提升11.74%！腾讯优图提出激励推理，专攻复杂指令
现有大语言模型处理复杂指令能力不足，腾讯优图研究团队提出激励推理方法。该方法能提升LLM处理复杂指令表现，在1.5B参数LLM上性能提升11.74%，媲美8B参数模型。
图解Vllm V1系列7：使用AsyncLLM做异步推理
文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。
腾讯AI Lab 提出解耦推理新框架，破解IMO 数学难题
腾讯AI Lab梁振文和宋林峰提出“解耦推理与证明”框架，解决当前大语言模型在自动化定理证明领域“思考”与“证明”能力失衡问题，成功解决5道IMO难题并开源成果。
强化学习新发现：无需数学样本，仅游戏训练AI推理大增
莱斯大学、约翰斯・霍普金斯大学和英伟达研究团队有颠覆性发现，让多模态大语言模型玩简单游戏，无需数学样本，就能显著提升其多模态推理能力。提出的ViGaL方法在多个基准测试中表现出色。