「CPU利用率」共找到 122 篇相关文章
AI 设计9个月就能媲美Blackwell？OpenAI “辣芯”绕开英伟达正面战场，但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
Ollama升级模型调度系统：内存管理更精准，多GPU性能提升
Ollama升级模型调度系统，精确测量运行模型所需内存，带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升，更多模型正迁移，还在开发iGPU支持，评估NPU支持。
Pogocache：开源缓存软件实现低延迟并支持多传输协议
全新开源缓存软件 Pogocache 近日发布 1.0 正式版，主打低延迟与 CPU 高效能特性，支持多种主流通信协议，宣称比其他开源缓存方案有更高吞吐量和更低延迟。还介绍了其架构、应用场景等。
一文看懂英伟达的产品体系和命名规则
文章由小枣君撰写，详细梳理英伟达产品体系和命名规则，涵盖算力芯片、超级芯片、超级计算机平台等，介绍各层级产品特性，还提及通信技术、开发框架CUDA，助读者清晰了解英伟达产品。
台积电的利润率赶上茅台了
美东时间4月16日，台积电公布2026年Q1财报，营收、利润超预期，毛利率66.2%，净利率首破50%超茅台。先进制程占比攀升，HPC成营收主引擎，资本开支高，供应紧张至2027年。
容器可观测新视角： SysOM延时监控助力定位业务抖动原因
云原生场景下，资源超卖和混合部署使宿主机与容器化应用资源竞争加剧，引发内核级延迟问题。本文结合实战案例，介绍用ack - sysom - monitor Exporter分析定位内核延迟，还介绍了SysOM监控及解决系统延时的方法。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。