「GPU-MODE」共找到 416 篇相关文章
【CUDA-MODE学习笔记】Lecture 40: CUDA Docs for Humans(文末送书
本文是CUDA-MODE课程笔记,介绍Modal公司GPU术语词汇表项目,讲师分享职业历程,强调理解CUDA技术栈各层次重要性,还讨论了项目短、中、长期目标,是助力开发者掌握CUDA的教育项目。
17 万模型背后:魔搭联合 AMD 送 1000 小时 GPU 的算盘
魔搭社区联合 AMD 推出「AMD 开发者激励计划」,提供最高 1000 小时 GPU 算力额度。魔搭社区对标 Hugging Face,托管超 17 万个开源模型。此次激励是三方匹配的生意,还释放了硬件去美元化和模型托管社区升级的信号。
Kernel Design Agent(KDA) 的B200 GPU Kernel 编程准则 Skill
文章围绕 Kernel Design Agent(KDA) 的 B200 GPU Kernel 编程展开,介绍目标平台、架构参数,阐述独有特性与编程要点,给出关键性能准则调整方向,详述 16 条准则及特殊 Kernel 类型优化策略和编写前检查清单。
大型挂机现场:马斯克的55万英伟达GPU,利用率才11%
《The Information》报道,马斯克旗下xAI有55万英伟达GPU,利用率仅11%。原因包括大规模部署协调难、数据传输瓶颈和训练间歇性。这是行业普遍问题,xAI着手解决,设定50%利用率目标。
最小模型仅 25MB,老设备无 GPU 也能流畅跑!
开源项目`KittenTTS`是文本转语音模型系列,核心特点是“小身材,大能量”。最小模型约1500万参数,体积25MB以内,无需GPU,靠CPU就能实现高质量语音合成,适合多种设备和场景。
市值3055亿!摩尔线程敲钟,国产通用GPU第一股来了
国产通用GPU第一股摩尔线程今日敲钟上市,开盘价650元,较发行价高出469%,开盘市值超3055亿元。它88天过会创科创板纪录,将募资用于研发,收入结构转向AI智算领域。
英伟达GPU被曝严重漏洞,致模型准确率暴跌99.9%
英伟达GPU被白帽黑客发现严重漏洞,通过GPUHammer攻击可使大模型准确率从80%降至0.02%。此攻击属Rowhammer类,直接对显存“物理动手”。英伟达建议的防御措施会使模型性能下降。
黄仁勋提前锁定20年OpenAI芯片收入!第一轮150万GPU卖2000亿美元
英伟达推出‘LPS’概念,联合投资机构出5000亿美元建数据中心,为客户担保。首个项目为在美为OpenAI建150万GPU数据中心,20年或带来巨额芯片收入。黄仁勋也对相关风险做了澄清。
vLLM 技巧: 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”,可在不重启服务时几秒内释放约90% GPU显存,实现模型热插拔与高效轮转,还介绍使用方法、不同休眠级别,提醒生产环境要确保安全。
一篇文章告诉你:国产 GPU 背后的技术和商业路线异同
过去两年,国产 GPU 赛道进入公开财务与审视阶段。文章分析了摩尔线程、沐曦等企业不同技术与商业路线,如摩尔线程走“高启动+快扩张”,沐曦选“厚积薄发+先服务高端算力场景”等。