「H800 GPU」共找到 547 篇相关文章

推荐文章7

简单了解下CUDA Green Context

文章基于Flashinfer实现介绍CUDA Green Context,它在CUDA 12.0+引入,能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例,不过测试性能未达预期,需关注后续发展。

GiantPandaLLM
推荐文章7

【博客转载】CUDA Constant Memory

文章介绍 CUDA 常量内存,它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能,指出块或 warp 一次访问时,常量内存快 10%;线程一次或伪随机访问时,慢很多。

GiantPandaLLM
新闻资讯8

SGLang 推理引擎的技术要点与部署实践|AICon 北京站前瞻

SGLang 是开源推理引擎,截至 2025 年 6 月,GitHub 近 15K Stars,月均下载量超 10 万次,被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升,他分享关键技术等内容,6 月 27 - 28 日他将在 AICon 演讲。

InfoQ
算法论文9

假如有一万张卡,RL训练该怎么扩大规模?十万张呢?

本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。

机器之心
算法论文8

Agentic RL 后训练资源怎么分?港中文、恒生大学提出 Libra,吞吐最高提升 3 倍

大语言模型走向“完成任务”,Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统,统一优化训练与 rollout,在多任务中提升吞吐,论文与代码已公开。

机器之心
开源动态8

英伟达MoE新开源:一行import,微调加速3.7倍

英伟达开源NeMo AutoModel,基于Hugging Face Transformers v5,不改代码API,添一行import就能更快速微调MoE模型。实验显示,它能提升3.4 - 3.7倍训练吞吐,减少29% - 32% GPU显存占用。

量子位
推荐文章8

为什么算力追赶这么难?前谷歌架构师现场黑板推演底层架构,看懂芯片底层逻辑里被忽视的“空间博弈”

前谷歌架构师、MatX CEO Reiner Pope在访谈中从基础逻辑门讲起,推导芯片架构,指出芯片大部分成本花在搬运数据上,还探讨乘加运算、脉动阵列等原理,以及时钟周期、FPGA与ASIC差异等内容。

AI科技大本营
开源动态8

字节清华智能体自动写CUDA内核,比torch.compile加速2.11倍

字节Seed与清华AIR团队开源CUDA Agent,在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统,训练数据经多阶段构建,分阶段训练,全面超越商业模型,还开源了训练数据集。

量子位
新闻资讯8

连中摩尔沐曦海光,成都国资赢麻了

摩尔线程与沐曦上市引爆国产GPU赛道热情,其背后均有成都高新区国有资本身影。此前,成都高新区还是海光信息二股东,收获丰厚回报。它通过“以投带引”盘活产业链,推动产业升级。

芯师爷
新闻资讯8

5Y News|祝贺摩尔线程成功登陆科创板!

2025年12月5日,摩尔线程在科创板上市,成中国首家登陆资本市场的全功能GPU企业。它以自主创新为根基研发芯片,构建起技术体系,商业表现佳,上市募资将投入芯片研发,助力国家数字经济发展。

五源资本 5Y Capital