「GPU推理」共找到 2390 篇相关文章
英伟达：祝贺谷歌TPU成功，但GPU领先一代
谷歌凭Nano Banana Pro、Gemini 3大获全胜，且Gemini 3用自研TPU。谷歌向客户推介TPU本地部署方案，欲抢占AI芯片算力市场。英伟达紧急发声强调自身核心地位，还砸钱拉拢大客户。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
黄仁勋搬来华尔街5000亿，买GPU可以按揭了
8月11日，英伟达宣布与六家金融机构合作，成立算力融资平台，欲动员超5000亿美元，把算力做成可融资生意。其将英伟达全栈AI基础设施当可投资资产，客户按需付费，但英伟达股价不涨反跌，这场豪赌结果待察。
纯CPU“踢开”GPU，中国超算九年后再登顶！
6月23日，国家超级计算深圳中心“灵晟”超算以2.19EFlops性能登顶全球超算TOP500榜单，这是世界首台超2EFlops的超算系统。它基于“灵鲲”平台，采用纯CPU设计，展现我国超算全栈自主可控能力。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
黄仁勋达沃斯首秀：GPU一卡难求，何来AI泡沫？
英伟达CEO黄仁勋在达沃斯首秀时力挺AI，提出‘五层蛋糕理论’，总结2025年‘三件大事’。他认为AI能增加就业、推动经济，回击‘AI泡沫论’，号召各国构建自己的AI。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
老黄极限游说成功！美国想卖中国英伟达GPU了？
英伟达CEO黄仁勋亲自游说，使限制其先进AI芯片出口的《GAIN AI法案》未被塞进国防法案。此前“对华鹰派”与英伟达等行业巨头激烈博弈，虽法案暂时搁浅，但新提案正在酝酿。