「GPU推理」共找到 2428 篇相关文章
KTransformers入选计算机系统顶会、与主流框架合作，趋境&清华让「异构」成为推理新范式
KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。
一文读懂：GPU到底是怎么工作的？
文章详细介绍GPU工作原理，对比其与CPU差异。指出GPU擅并行计算、能解决复杂问题，还分析FLOPS、延迟、内存等因素对性能的影响，最后讲了GPU通过多线程和超量订阅获高吞吐量。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。
利用Loop语言模型扩展隐式推理 | 直播预约
当前大语言模型依赖显式文本生成推理，未充分利用预训练数据。将介绍最新工作Ouro，Loop语言模型家族，核心创新多，虽参数少却性能优，还会讨论其推理轨迹及模型Scaling新可能。
让AI学会潜意识推理，Sapient发布类脑模型HRM
新加坡初创公司Sapient Intelligence发布仅2700万参数的分层推理模型HRM，在多项高难度推理任务上超越大模型。它绕过大模型推理困境，借鉴大脑机制，训练效率高，开源后GitHub星标突破10.3k。
LLM本质上永远无法实现真正的正确推理
日本埼玉大学荣誉教授Jingde Cheng论文指出，以ChatGPT为代表的大语言模型（LLM）本质上无法实现真正的正确推理。论文定义了“正确推理”，从逻辑和计算原理论证其局限性，为推理智能体研究指明方向。
隐形束缚：RLVR为何无法突破LLM的推理边界？
大型推理模型进展依赖带可验证奖励的强化学习（RLVR），但它能否扩展模型推理能力存疑。本文通过理论证明与实验，揭示RLVR存在“隐形束缚”，只能在基座模型初始能力内优化，难以发现新解。
小白也能秒懂：趣解GPU各种核心参数规格！
近期美国升级对英伟达H20芯片出口管制，业内震动。文章介绍GPU和显卡区别，讲解GPU关键参数如算力、核心数量等含义，还通过货车、火车类比助小白理解，助读者选合适GPU。
DeepSeek开源DeepInfer：V4.1-Flash推理框架首次公开
大模型开源此前多开放权重和模型代码，此次DeepSeek将开源推进到推理服务层，公开DeepInfer推理框架及配套组件，开放大模型推理服务核心工程实现，为开发者提供学习参考。
Nvidia GPU深度解析
文章深度解析Nvidia的B30A（传闻）、HGX H20、H100、B200和B300（Ultra）五款GPU，从架构、性能、内存、封装工艺和应用场景等方面对比差异，助读者选合适GPU。