「GPU利用率」共找到 419 篇相关文章
Ollama升级模型调度系统：内存管理更精准，多GPU性能提升
Ollama升级模型调度系统，精确测量运行模型所需内存，带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升，更多模型正迁移，还在开发iGPU支持，评估NPU支持。
Kernel Design Agent(KDA) 的B200 GPU Kernel 编程准则 Skill
文章围绕 Kernel Design Agent(KDA) 的 B200 GPU Kernel 编程展开，介绍目标平台、架构参数，阐述独有特性与编程要点，给出关键性能准则调整方向，详述 16 条准则及特殊 Kernel 类型优化策略和编写前检查清单。
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
最小模型仅 25MB，老设备无 GPU 也能流畅跑！
开源项目`KittenTTS`是文本转语音模型系列，核心特点是“小身材，大能量”。最小模型约1500万参数，体积25MB以内，无需GPU，靠CPU就能实现高质量语音合成，适合多种设备和场景。
市值3055亿！摩尔线程敲钟，国产通用GPU第一股来了
国产通用GPU第一股摩尔线程今日敲钟上市，开盘价650元，较发行价高出469%，开盘市值超3055亿元。它88天过会创科创板纪录，将募资用于研发，收入结构转向AI智算领域。
英伟达GPU被曝严重漏洞，致模型准确率暴跌99.9%
英伟达GPU被白帽黑客发现严重漏洞，通过GPUHammer攻击可使大模型准确率从80%降至0.02%。此攻击属Rowhammer类，直接对显存“物理动手”。英伟达建议的防御措施会使模型性能下降。
黄仁勋提前锁定20年OpenAI芯片收入！第一轮150万GPU卖2000亿美元
英伟达推出‘LPS’概念，联合投资机构出5000亿美元建数据中心，为客户担保。首个项目为在美为OpenAI建150万GPU数据中心，20年或带来巨额芯片收入。黄仁勋也对相关风险做了澄清。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
一篇文章告诉你：国产 GPU 背后的技术和商业路线异同
过去两年，国产 GPU 赛道进入公开财务与审视阶段。文章分析了摩尔线程、沐曦等企业不同技术与商业路线，如摩尔线程走“高启动＋快扩张”，沐曦选“厚积薄发＋先服务高端算力场景”等。
不拼GPU！中兴扔出AI超节点，把token价格打下来
在万亿级大模型时代，传统‘芯片堆砌’方式面临通信开销剧增等痛点。中兴通讯推出超节点技术，从系统级协同架构出发，通过六大维度创新，绕开单GPU芯片瓶颈，重构AI算力基础设施，推动行业向开放、融合发展。