「GPU推理」共找到 2428 篇相关文章
通过查看GPU Assembly分析CUDA程序
文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例，对比普通和向量化版本，通过查看SASS代码，解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
国产GPU造富狂欢：谁是最大赢家？
2025年12月，摩尔线程和沐曦股份上市引发资本市场狂欢，股价暴涨带来造富效应。国资背景投资方在两家公司上市前占据重要地位，私募大佬葛卫东等也入局。但两企业未盈利，面临技术、竞争等挑战。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
英伟达：祝贺谷歌TPU成功，但GPU领先一代
谷歌凭Nano Banana Pro、Gemini 3大获全胜，且Gemini 3用自研TPU。谷歌向客户推介TPU本地部署方案，欲抢占AI芯片算力市场。英伟达紧急发声强调自身核心地位，还砸钱拉拢大客户。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
黄仁勋搬来华尔街5000亿，买GPU可以按揭了
8月11日，英伟达宣布与六家金融机构合作，成立算力融资平台，欲动员超5000亿美元，把算力做成可融资生意。其将英伟达全栈AI基础设施当可投资资产，客户按需付费，但英伟达股价不涨反跌，这场豪赌结果待察。
纯CPU“踢开”GPU，中国超算九年后再登顶！
6月23日，国家超级计算深圳中心“灵晟”超算以2.19EFlops性能登顶全球超算TOP500榜单，这是世界首台超2EFlops的超算系统。它基于“灵鲲”平台，采用纯CPU设计，展现我国超算全栈自主可控能力。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。