「CUDA优化」共找到 1291 篇相关文章
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context，它在CUDA 12.0+引入，能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例，不过测试性能未达预期，需关注后续发展。
华为版CUDA，全面开源了
华为宣布为昇腾AI GPU开源CANN软件工具包及Mind系列套件、工具链，让昇腾更好用。CANN类似华为版CUDA，目前到8.0版，支持多深度学习框架。同日，传奇GPU架构师创业公司浮出水面，挑战英伟达。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
优化搜索系统：平衡速度、相关性和可伸缩性
这篇文章基于作者在 2024 年旧金山 QCon 大会演讲，探讨搜索系统优化。以优步外卖为例，分析其在数据索引、检索和排名方面挑战，介绍优化技术及对用户体验和系统性能影响，还提及架构、分片技术等内容。
我用了13年，与SEO前辈们出现在一起。白杨SEO从网站优化到AI搜索优化经历分享，百度SEO不放弃！
白杨SEO分享从网站优化到AI搜索优化经历，讲述入行缘由、职场项目，介绍自由职业业务，分析百度SEO阶段与变化，建议别放弃，还给出对SEO未来看法，如回归国外、做新媒体SEO等。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
王云鹤眼中的Harness：复杂优化问题，AGI灵魂争夺之战
王云鹤在知乎文章中探讨Harness Engineering，指出Agent=Model+Harness，多模型配合能提升Agent能力。还分析Harness存在的必要性，认为它是复杂优化问题，关乎AI“灵魂”之争。
跨芯片统一优化，DLCompiler与DLBlas驱动算子极致表现
9月10日，上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器，后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点，在多芯片上实现性能优化，还解决了DSA芯片优化难题。
AI 集成的智能 Profiling 实践：从性能分析到优化闭环
本文由韩钦亭撰写，分享了在已有 Profiling 平台引入 AI 智能辅助模块的实践。介绍了设计思路、工程实现、应用成效，对比不同大语言模型，通过实际案例展示优化效果，还探讨了 AI 在性能优化场景的未来潜力。