「GPU推理」共找到 2428 篇相关文章
斯坦福人均≈0.1张GPU！学术界算力遭「屠杀」，LeCun急了
学术界GPU荒严重，美国顶尖大学人均GPU少，与大厂差距大。如斯坦福人均0.14张，而微软等大厂数据中心算力惊人。这导致人才流向工业界，学术验证能力弱，但部分高校有改善措施。
GPU为什么能取代CPU，成为计算领域无可争议的核心？
过去CPU是计算核心，如今GPU崛起取代之。二者架构不同，GPU并行处理强。人工智能、大数据等领域需其能力，软件支持助其普及，未来或融合创新，成计算领域主角。
DeepSeek开源推理框架，有人算出AI的毛利：82%
DeepSeek开源了支撑自身大规模推理服务的框架DeepInfer与配套token编解码组件deepseek-recipe，披露的吞吐量数据经计算得出大模型API毛利率达82%，引发AI行业对盈利性与推理优化的广泛讨论。
OpenAI没做到，DeepSeek搞定了！开源引爆推理革命
文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。
只用2700万参数，这个推理模型超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型（HRM），该模型仅2700万参数、1000个训练样本，就在复杂推理任务上超越DeepSeek和Claude等模型，还引入近似梯度等创新设计。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
GPU为什么能取代CPU，成为计算领域无可争议的核心？
文章介绍GPU取代CPU成计算领域核心的原因。对比二者架构差异，指出人工智能、大数据和HPC等领域需并行处理，GPU正擅长此。软件支持也推动其普及，未来还会在更多领域发挥作用。
摩尔线程放大招？新一代 GPU 架构即将揭晓 | Q推荐
2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举办。大会聚焦全功能GPU，主论坛将揭晓新一代GPU架构，还有20+技术专场及1000㎡科技嘉年华，诚邀全球相关人士共筑国产智能计算生态。
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。