「GPU性能分析」共找到 3172 篇相关文章
全给黄仁勋玩明白了!15亿美元租自家GPU/教小弟用GPU换融资,英伟达又一世子被曝准备IPO
The Information消息,今年夏天英伟达将从Lambda租1万个GPU服务器,另达成8000个服务器租赁交易,总值15亿美元,用于内部研发。英伟达是Lambda供应商、投资者、客户,Lambda或2026上半年IPO。
Mini-SGLang,30万行代码浓缩为5000行,大模型推理高性能教学与研究模版
SGLang发布Mini-SGLang,将30万行代码缩至5000行,保留核心特性,为大模型推理提供高性能教学与研究模版,解决教育门槛高和科研原型开发难的痛点,还经测试验证了性能。
一句话,性能暴涨49%!马里兰MIT等力作:Prompt才是大模型终极武器
马里兰大学、MIT、斯坦福等机构研究发现,AI性能提升一半靠模型,一半靠提示词。他们让DALL - E 2和DALL - E 3 PK,发现DALL - E 3性能提升中,模型升级贡献51%,提示词优化贡献49%。
教科书《性能之巅》作者入职OpenAI!迷弟总裁亲自欢迎
系统性能优化领域顶级专家Brendan Gregg加入OpenAI,将参与ChatGPT性能团队。他被尊为“性能之神”,著有《性能之巅》等,发明火焰图。他自述因OpenAI环境与AI需求加入,还为圆童年科幻梦。
斯坦福意外用AI生成超强CUDA内核,性能比人类专家优化得还要好!翻倍碾压原生PyTorch,华人主创
斯坦福团队意外发现AI生成的内核性能超人类专家优化的,在常见深度学习操作上能让性能提升近400%。其方法是生成自然语言优化思想再转化为代码,还使用多分支探索模式。
跳过88%专家,保住97%性能!MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模,MoE架构虽降低计算开销,但推理成本仍高。香港科技大学等团队提出MoDES,它是training - free动态专家跳过框架,能跳过88%专家还保留97%性能,推理速度提升2倍。
Kernel Design Agent(KDA) 的B200 GPU Kernel 编程准则 Skill
文章围绕 Kernel Design Agent(KDA) 的 B200 GPU Kernel 编程展开,介绍目标平台、架构参数,阐述独有特性与编程要点,给出关键性能准则调整方向,详述 16 条准则及特殊 Kernel 类型优化策略和编写前检查清单。
GPU-MODE Leaderboards之vector_add histogram 以及一些有趣发现
文章介绍GPU-MODE Leaderboards中vector_add和histogram任务。分析vector_add实现、带宽利用率,rank1代码用cccl,带宽利用率超80%;histogram算子瓶颈在atomic冲突等,rank1也多用cccl,还给出rank2代码,最后提及任务中Hack行为及代码提交方式。
CUDA内核之神、全球最强GPU程序员?OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物,OpenAI一位工程师因编写关键CUDA Kernel引发关注,网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN,加入OpenAI后开发块稀疏GPU内核并开源。
不拼GPU!中兴扔出AI超节点,把token价格打下来
在万亿级大模型时代,传统‘芯片堆砌’方式面临通信开销剧增等痛点。中兴通讯推出超节点技术,从系统级协同架构出发,通过六大维度创新,绕开单GPU芯片瓶颈,重构AI算力基础设施,推动行业向开放、融合发展。