「内存占用」共找到 231 篇相关文章
清华校友出手，8B硬刚GPT-4o！单一模型无限工具调用，终结多智能体
MIT等机构推出TIM和TIMRUN组合拳，突破模型token天花板。TIM将推理建模为任务树，TIMRUN优化内存管理。二者结合支持长程推理，实现单模型高效推理，简化智能体构建，在多方面表现出色。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
内存四年涨700%，长鑫LPDDR6送样能把价格打下来吗
近期“长鑫DDR6送审”刷屏，实则涉及技术进度、资本事件、供应链前置动作。文章分析长鑫进展含金量，认为国产DRAM首次和国际标准处同一窗口。此轮存储涨价因HBM抽走通用产能，长鑫或补通用市场空缺。
英伟达都摁不住了！内存疯涨，AI服务器被曝涨价超15%
搭载英伟达AI芯片的服务器将在2027年初涨价超15%，但这次并非英伟达主导，而是代工厂。真正原因是内存价格疯涨，三星、SK海力士和美光掌控近九成市场，有定价权。
NIPS2025 | A-Mem让Agent拥有动态自我记忆功能，达到新SoTA
近年来，LLM代理需长期内存系统，但现有系统缺乏灵活性。论文提出A - Mem能动内存系统，受Zettelkasten启发，能让记忆‘自我整理’和‘自我更新’，在多基准测试领先，也指出了局限性和未来方向。
1盒内存条堪比上海1套房？内存涨价凶猛，业内人士：有钱的，上亿资金囤货
2025年7月以来，全球DRAM市场经历“史上最强”涨价周期，多数品类涨幅超100%。因产能吃紧、涨价预期等因素，囤货行为从下游扩散到大型贸易商等。本轮价格回升非因消费电子复苏，供需矛盾难缓解，市场现“恐慌性采购”。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。