「GPU利用率」共找到 422 篇相关文章
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
LeRobot v0.4.0 正式发布：全面提升开源机器人的学习能力
LeRobot v0.4.0 正式发布，带来多方面重大升级。有可扩展的 Datasets v3.0、新 VLA 模型、全新插件系统；支持 LIBERO 和 Meta - World 仿真；还有数据处理 Pipeline、多 GPU 训练简化等特性，上线了机器人学习课程。
老黄回应英伟达入股英特尔
英伟达50亿美元入股英特尔，将持有超4%股份成大股东之一。双方要联合开发用于PC和数据中心的AI芯片，未来芯片或成CPU与GPU融合的超级芯片。此合作或冲击AMD和台积电。
刚刚，OpenAI前CTO：战胜LLM不确定性的方法找到了！
OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化，而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。
AI低质代码泛滥、API经济盛行，老牌科技厂商 F5 如何应对大模型应用“后遗症”？
F5亚太区CTO Mohan Veloo指出AI编程工具带来安全、低质代码、‘黑盒子’等问题。F5调查显示企业业务AI驱动下，安全成挑战。F5推出ADSP平台应对，还发布AI Gateway、AI助手等产品。
刚刚，OpenAI开源2个推理模型：笔记本/手机就能跑，性能接近o4-mini
OpenAI深夜开源gpt-oss-120b和gpt-oss-20b推理模型，距上次开源已6年。模型亮点多，性能强，在多方面表现超专有模型。官方还放实测视频，展示其使用效果，同时解释了开源原因。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
Switch 2芯片细节曝光！英伟达专门定制支持DLSS，网友：掌机模式相当于PS4
数毛社消息，Switch 2采用英伟达真·定制版芯片，含8核CPU和12GB LPDDR5X内存，GPU基于Ampere架构，支持DLSS和光线追踪。不过配置也引吐槽，如掌机性能降、续航或不长等。