「通用GPU」共找到 1115 篇相关文章
17 万模型背后:魔搭联合 AMD 送 1000 小时 GPU 的算盘
魔搭社区联合 AMD 推出「AMD 开发者激励计划」,提供最高 1000 小时 GPU 算力额度。魔搭社区对标 Hugging Face,托管超 17 万个开源模型。此次激励是三方匹配的生意,还释放了硬件去美元化和模型托管社区升级的信号。
Kernel Design Agent(KDA) 的B200 GPU Kernel 编程准则 Skill
文章围绕 Kernel Design Agent(KDA) 的 B200 GPU Kernel 编程展开,介绍目标平台、架构参数,阐述独有特性与编程要点,给出关键性能准则调整方向,详述 16 条准则及特殊 Kernel 类型优化策略和编写前检查清单。
CUDA-MODE第77课课程笔记:用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态,涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式,对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目,并给出使用建议。
大型挂机现场:马斯克的55万英伟达GPU,利用率才11%
《The Information》报道,马斯克旗下xAI有55万英伟达GPU,利用率仅11%。原因包括大规模部署协调难、数据传输瓶颈和训练间歇性。这是行业普遍问题,xAI着手解决,设定50%利用率目标。
最小模型仅 25MB,老设备无 GPU 也能流畅跑!
开源项目`KittenTTS`是文本转语音模型系列,核心特点是“小身材,大能量”。最小模型约1500万参数,体积25MB以内,无需GPU,靠CPU就能实现高质量语音合成,适合多种设备和场景。
GPU-MODE Leaderboards之vector_add histogram 以及一些有趣发现
文章介绍GPU-MODE Leaderboards中vector_add和histogram任务。分析vector_add实现、带宽利用率,rank1代码用cccl,带宽利用率超80%;histogram算子瓶颈在atomic冲突等,rank1也多用cccl,还给出rank2代码,最后提及任务中Hack行为及代码提交方式。
英伟达GPU被曝严重漏洞,致模型准确率暴跌99.9%
英伟达GPU被白帽黑客发现严重漏洞,通过GPUHammer攻击可使大模型准确率从80%降至0.02%。此攻击属Rowhammer类,直接对显存“物理动手”。英伟达建议的防御措施会使模型性能下降。
LeCun和哈萨比斯「吵」起来了:「通用智能」到底存不存在?
LeCun 在播客称「通用智能」不存在,引发广泛讨论。Google DeepMind 掌门人 Hassabis 引用该帖硬刚,认为人类大脑和 AI 基础模型近似图灵机,有通用性。LeCun 回应强调这是数学事实,双方分歧反映对 AGI 发展路径的不同判断。
vLLM 技巧: 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”,可在不重启服务时几秒内释放约90% GPU显存,实现模型热插拔与高效轮转,还介绍使用方法、不同休眠级别,提醒生产环境要确保安全。
一篇文章告诉你:国产 GPU 背后的技术和商业路线异同
过去两年,国产 GPU 赛道进入公开财务与审视阶段。文章分析了摩尔线程、沐曦等企业不同技术与商业路线,如摩尔线程走“高启动+快扩张”,沐曦选“厚积薄发+先服务高端算力场景”等。