「GPU推理」共找到 2428 篇相关文章
DeepMind一篇论文终结十年之争！GPT-5推理靠世界模型
GPT-5上线后推理能力惊人。最新研究揭示通用智能体聪明的原因是长出“世界模型”，终结了学界十年关于AI靠模仿还是思考的争论，实验也验证了世界模型对智能体的必要性。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
斯坦福×英伟达发布AI推理新范式，刷新了多领域SOTA
斯坦福与英伟达联合发布论文 TTT - Discover，提出新范式，不追求通用，在推理阶段针对特定难题修改模型参数。它战绩辉煌，但成本高、是偏科生且需打分器，其出现是技术与哲学的突破。
仅需一个混频器的无线射频机器学习推理，登上Science Advances！
杜克大学和MIT教授团队提出广播模型并在射频上完成计算的分离式计算方案，在边缘端混频器模拟计算中完成推理，解决传统方案问题，还在测试平台验证，能耗低且能完成多项机器学习任务。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
不拼GPU！中兴扔出AI超节点，把token价格打下来
在万亿级大模型时代，传统‘芯片堆砌’方式面临通信开销剧增等痛点。中兴通讯推出超节点技术，从系统级协同架构出发，通过六大维度创新，绕开单GPU芯片瓶颈，重构AI算力基础设施，推动行业向开放、融合发展。
开源DeepSeek R1增强版：推理效率快200%，创新AoE架构
德国TNG公司开源DeepSeek R1增强版DeepSeek - TNG - R1T2 - Chimera，基于三大模型混合开发，采用创新AoE架构，推理效率比R1 - 0528快200%，成本大减，在主流测试中性能更好。还介绍了AoE架构构建子模型方法。
全网首测！首款国产GPU「AI算力本」现场上手
新智元报道首款国产GPU「AI算力本」MTT AIBOOK，它搭载国产全功能显卡，预装开发环境，打破系统壁垒。其背后的MUSA架构全栈自研，软件升级、有翻译工具，硬件架构革新，还有开源计划，产品应用广泛。
不止于快！美团新推理模型正在重新定义「实用主义AI」
美团发布并开源推理模型 LongCat-Flash-Thinking，它在权威测评表现突出。该模型有多项创新，能更快、更能干、更可靠。其将技术实力转化为业务服务能力，实战测试表现佳，体现美团实用主义 AI 路径。
CUDA内核之神、全球最强GPU程序员？OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物，OpenAI一位工程师因编写关键CUDA Kernel引发关注，网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN，加入OpenAI后开发块稀疏GPU内核并开源。