「内存占用」共找到 241 篇相关文章
量化噪声竟是RL秘钥？QeRL：高效强化学习新范式，一场噪声引发的性能革命
近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
【博客转载】CUDA Vectorized Memory Access （文末送书）
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽，实现朴素自定义设备内存拷贝函数，对比不同数据类型、大小及方法的性能，得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
清华校友出手，8B硬刚GPT-4o！单一模型无限工具调用，终结多智能体
MIT等机构推出TIM和TIMRUN组合拳，突破模型token天花板。TIM将推理建模为任务树，TIMRUN优化内存管理。二者结合支持长程推理，实现单模型高效推理，简化智能体构建，在多方面表现出色。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
内存四年涨700%，长鑫LPDDR6送样能把价格打下来吗
近期“长鑫DDR6送审”刷屏，实则涉及技术进度、资本事件、供应链前置动作。文章分析长鑫进展含金量，认为国产DRAM首次和国际标准处同一窗口。此轮存储涨价因HBM抽走通用产能，长鑫或补通用市场空缺。
英伟达都摁不住了！内存疯涨，AI服务器被曝涨价超15%
搭载英伟达AI芯片的服务器将在2027年初涨价超15%，但这次并非英伟达主导，而是代工厂。真正原因是内存价格疯涨，三星、SK海力士和美光掌控近九成市场，有定价权。
NIPS2025 | A-Mem让Agent拥有动态自我记忆功能，达到新SoTA
近年来，LLM代理需长期内存系统，但现有系统缺乏灵活性。论文提出A - Mem能动内存系统，受Zettelkasten启发，能让记忆‘自我整理’和‘自我更新’，在多基准测试领先，也指出了局限性和未来方向。
1盒内存条堪比上海1套房？内存涨价凶猛，业内人士：有钱的，上亿资金囤货
2025年7月以来，全球DRAM市场经历“史上最强”涨价周期，多数品类涨幅超100%。因产能吃紧、涨价预期等因素，囤货行为从下游扩散到大型贸易商等。本轮价格回升非因消费电子复苏，供需矛盾难缓解，市场现“恐慌性采购”。