「GPU内存共享」共找到 711 篇相关文章
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
大型挂机现场：马斯克的55万英伟达GPU，利用率才11%
《The Information》报道，马斯克旗下xAI有55万英伟达GPU，利用率仅11%。原因包括大规模部署协调难、数据传输瓶颈和训练间歇性。这是行业普遍问题，xAI着手解决，设定50%利用率目标。
最小模型仅 25MB，老设备无 GPU 也能流畅跑！
开源项目`KittenTTS`是文本转语音模型系列，核心特点是“小身材，大能量”。最小模型约1500万参数，体积25MB以内，无需GPU，靠CPU就能实现高质量语音合成，适合多种设备和场景。
市值3055亿！摩尔线程敲钟，国产通用GPU第一股来了
国产通用GPU第一股摩尔线程今日敲钟上市，开盘价650元，较发行价高出469%，开盘市值超3055亿元。它88天过会创科创板纪录，将募资用于研发，收入结构转向AI智算领域。
GPU-MODE Leaderboards之vector_add histogram 以及一些有趣发现
文章介绍GPU-MODE Leaderboards中vector_add和histogram任务。分析vector_add实现、带宽利用率，rank1代码用cccl，带宽利用率超80%；histogram算子瓶颈在atomic冲突等，rank1也多用cccl，还给出rank2代码，最后提及任务中Hack行为及代码提交方式。
50年僵局打破！MIT最新证明：对于算法少量内存胜过大量时间
MIT理论计算机科学家Ryan Williams最新研究建立数学程序，将任意算法转化为占用空间更少的形式，证明少量计算内存比大量计算时间更有价值，打破计算机科学家近50年认知。
60个量子比特顶百万倍内存：量子机器学习找到新的突破口
4月8日，加州理工学院等联合团队在arXiv发布论文，证明小型量子计算机处理部分机器学习任务时，可用指数级更少内存超越经典计算机。研究绕开QRAM，提出算法框架验证优势，但仍待真实硬件验证。
英伟达GPU被曝严重漏洞，致模型准确率暴跌99.9%
英伟达GPU被白帽黑客发现严重漏洞，通过GPUHammer攻击可使大模型准确率从80%降至0.02%。此攻击属Rowhammer类，直接对显存“物理动手”。英伟达建议的防御措施会使模型性能下降。
黄仁勋提前锁定20年OpenAI芯片收入！第一轮150万GPU卖2000亿美元
英伟达推出‘LPS’概念，联合投资机构出5000亿美元建数据中心，为客户担保。首个项目为在美为OpenAI建150万GPU数据中心，20年或带来巨额芯片收入。黄仁勋也对相关风险做了澄清。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。