「GPU推理」共找到 2382 篇相关文章
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
关于现代GPU体系结构内存一致性（Memory Consistency）模型的一些猜想（二）——同步性能
文章聚焦GPU应用层面，通过实验对比不同同步代码实现的性能。在H20 GPU上测试，发现scope越小同步性能越好，内存屏障开销随scope增大而增加，还介绍非PTX及官方推荐实现方式并给出性能对比。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.027B 参数硬刚思维链模型，推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。
为什么HBM能摆脱传统周期？
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。
刚刚，1122人干出“国产GPU”第一股，摩尔线程成功IPO：开盘股价疯涨，市值破2800亿！专家：国产AI芯片商业化进入关键期
今日摩尔线程在科创板上市，发行价114.28元，截至发稿股价涨至620元/股，市值破2800亿。它成立于2020年，核心团队多有英伟达背景，研发投入高，已推出四代GPU架构和产品，专家称国产GPU进入商业化验证阶段。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
刚刚，OpenAI开源2个推理模型：笔记本/手机就能跑，性能接近o4-mini
OpenAI深夜开源gpt-oss-120b和gpt-oss-20b推理模型，距上次开源已6年。模型亮点多，性能强，在多方面表现超专有模型。官方还放实测视频，展示其使用效果，同时解释了开源原因。