「内存节省」共找到 294 篇相关文章
【博客转载】CUDA Vectorized Memory Access (文末送书)
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽,实现朴素自定义设备内存拷贝函数,对比不同数据类型、大小及方法的性能,得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
香港中文大学10页论文提出新算法RXTX,用于计算矩阵与其转置的乘积XXᵗ。该算法结合机器学习搜索和组合优化技术,能源可节省5%-10%,时间节省5%,对多领域有深远影响。
Transformer危!谷歌MoR架构发布:内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions(MoR),推理速度提高2倍、KV内存减半,首次在单一框架实现多任务处理与动态分配计算资源,研究人员通过实验验证其性能超Transformer。
内存四年涨700%,长鑫LPDDR6送样能把价格打下来吗
近期“长鑫DDR6送审”刷屏,实则涉及技术进度、资本事件、供应链前置动作。文章分析长鑫进展含金量,认为国产DRAM首次和国际标准处同一窗口。此轮存储涨价因HBM抽走通用产能,长鑫或补通用市场空缺。
英伟达都摁不住了!内存疯涨,AI服务器被曝涨价超15%
搭载英伟达AI芯片的服务器将在2027年初涨价超15%,但这次并非英伟达主导,而是代工厂。真正原因是内存价格疯涨,三星、SK海力士和美光掌控近九成市场,有定价权。
NIPS2025 | A-Mem让Agent拥有动态自我记忆功能,达到新SoTA
近年来,LLM代理需长期内存系统,但现有系统缺乏灵活性。论文提出A - Mem能动内存系统,受Zettelkasten启发,能让记忆‘自我整理’和‘自我更新’,在多基准测试领先,也指出了局限性和未来方向。
1盒内存条堪比上海1套房?内存涨价凶猛,业内人士:有钱的,上亿资金囤货
2025年7月以来,全球DRAM市场经历“史上最强”涨价周期,多数品类涨幅超100%。因产能吃紧、涨价预期等因素,囤货行为从下游扩散到大型贸易商等。本轮价格回升非因消费电子复苏,供需矛盾难缓解,市场现“恐慌性采购”。
谷歌开源Gemma 3n:2G内存就能跑,100亿参数内最强多模态模型
本周五凌晨,谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性,核心是 MatFormer 架构,还采用了 PLE 技术等,在多方面实现质量提升。
2.9K Star!这个工具让 Agent 查代码快了 200 倍!节省 98% Token 消耗!
当下,Agent 在代码工作流应用广泛,但在大型代码库搜索时存在精准性、Token 效率和速度问题。Semble 是 MinishLab 团队开发的面向 Agent 的代码搜索工具,能解决上述问题,还具备多方面亮点,安装和使用也简单。
内存减6倍、精度0损失,推理提速8倍!谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术,能将KV缓存6倍压缩、无精度损失,推理速度提升8倍,解决内存瓶颈问题,为大语言模型应用扫清障碍,引发业界关注,还致存储芯片巨头股价大跌。