「利用率」共找到 48 篇相关文章
Ollama升级模型调度系统：内存管理更精准，多GPU性能提升
Ollama升级模型调度系统，精确测量运行模型所需内存，带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升，更多模型正迁移，还在开发iGPU支持，评估NPU支持。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
AMD服务器上一个诡异的性能问题诊断历程
本文复盘AMD服务器高优故障，从8月底起，集团amd turind机器业务cpi和cpu利用率飙升，影响业务性能。经排查是split lock问题，由python解释器调用__libc_free时出错引发，还分析了问题原因、传导路径，并给出应对措施。
台积电的利润率赶上茅台了
美东时间4月16日，台积电公布2026年Q1财报，营收、利润超预期，毛利率66.2%，净利率首破50%超茅台。先进制程占比攀升，HPC成营收主引擎，资本开支高，供应紧张至2027年。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
AI低质代码泛滥、API经济盛行，老牌科技厂商 F5 如何应对大模型应用“后遗症”？
F5亚太区CTO Mohan Veloo指出AI编程工具带来安全、低质代码、‘黑盒子’等问题。F5调查显示企业业务AI驱动下，安全成挑战。F5推出ADSP平台应对，还发布AI Gateway、AI助手等产品。