内存优化」共找到 1390 篇相关文章

推荐文章7

【博客转载】CUDA Local Memory

文章围绕CUDA本地内存展开,介绍其为线程私有存储空间,访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例,展示数组索引复杂度对存储位置的影响,还给出判断存储位置的方法及优化建议。

GiantPandaLLM
推荐文章7

如何让AI推荐企业官网?官网GEO优化怎么做?【必看】

白杨SEO从网站代码优化、站内内容、站外推广三方面,介绍让AI推荐企业官网及做好官网GEO优化的方法。如代码优化要主动提交网站、部署SSL证书等,还给出企业官网老板执行清单。

白杨SEO优化教程
算法论文7

拆解大模型几项核心操作背后的数学与 Infra 优化逻辑

文章拆解大模型核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度,还介绍各操作原理、问题及优化方法。

腾讯技术工程
推荐文章7

破局大模型推理困局!华为张君详解昇腾“融合算力”的优化秘籍

华为高级开发工程师张君在AICon大会演讲,围绕大模型推理优化,从模型、框架、算子层展开,结合案例阐述技术方案。分析大模型推理现状挑战,介绍加速技术,分享昇腾硬件算子优化实践及通算融合算子优化方法。

InfoQ
新闻资讯7

双11电脑遭遇内存涨价潮,华强北“一天一个价”,雷军都感叹涨太多

受AI浪潮影响,内存价格水涨船高,消费级内存也不例外。全球内存疯涨,国内线上线下均受波及,价格翻倍情况常见,且局面可能长期持续,电脑、手机等产品都遭殃,主要因AI让内存需求激增。

量子位
新闻资讯7

256G比5090还贵!内存一年暴涨3倍,全球为奥特曼豪赌买单

全球内存供不应求,价格一年暴涨3倍。奥特曼的采购锁定40%产能,巨头转向高利润AI产品致中低端内存锐减。2026年内存短缺或重塑市场,GPU也将涨价,大家都要为AI发展买单。

新智元
推荐文章7

优化搜索系统:平衡速度、相关性和可伸缩性

这篇文章基于作者在 2024 年旧金山 QCon 大会演讲,探讨搜索系统优化。以优步外卖为例,分析其在数据索引、检索和排名方面挑战,介绍优化技术及对用户体验和系统性能影响,还提及架构、分片技术等内容。

InfoQ
推荐文章7

我用了13年,与SEO前辈们出现在一起。白杨SEO从网站优化到AI搜索优化经历分享,百度SEO不放弃!

白杨SEO分享从网站优化到AI搜索优化经历,讲述入行缘由、职场项目,介绍自由职业业务,分析百度SEO阶段与变化,建议别放弃,还给出对SEO未来看法,如回归国外、做新媒体SEO等。

白杨SEO优化教程
产品应用7

Codex在推理框架上能蹬出什么优化

作者复盘用Codex在SGLang中的实践,原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法,分享印象深刻的debug经历,列举在SGLang用Codex一个月的优化成果,还提及Claude Code使用遇阻。

GiantPandaLLM
算法论文8

砍掉70%内存!陈丹琦团队破解LLM长文本瓶颈

大型语言模型处理长文本时,KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺,推出分块驱逐与PruLong训练技术,在128K长文本任务中最高降低70%内存,性能损失仅10%。

深度学习自然语言处理