内存管理」共找到 713 篇相关文章

算法论文8

清华校友出手,8B硬刚GPT-4o!单一模型无限工具调用,终结多智能体

MIT等机构推出TIM和TIMRUN组合拳,突破模型token天花板。TIM将推理建模为任务树,TIMRUN优化内存管理。二者结合支持长程推理,实现单模型高效推理,简化智能体构建,在多方面表现出色。

新智元
8

谷歌公开全新极限压缩算法:LLM提速8倍、内存占用狂降6倍,精度零损失

谷歌推出全新量化算法 TurboQuant,瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点,能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步,实验数据表现优异,将改变搜索格局。

AI寒武纪
算法论文8

无损减少80%激活值内存,提升5倍训练序列长度,仅需两行代码

港中文(深圳)和上海交通大学团队提出 StreamBP 算法,通过线性分解和分步计算,将大语言模型训练激活值内存降至梯度检查点的 20%,在相同内存下最大序列长度为其 2.8 - 5.5 倍,代码已开源。

机器之心
算法论文8

数据科学新风口?三大环节搞定ML「资产」管理,VLDB'25最新教程抢先看!

大模型时代,ML资产爆炸式增长,但大多缺乏规范管理。凯斯西储大学等研究团队将在VLDB 2025提出教程,从整理、发现、利用三大环节给出ML资产管理方法论与系统路径,还会展示前沿平台解决实际问题。

新智元
开源动态8

1.7K star!找到啦,小众需求,但是需求的时候你一定用得上,企业级能源管理神器

MyEMS是开源能源管理系统新标杆,基于Python+Django构建,提供完整解决方案。支持多场景能耗监控,通过可视化报表和AI算法优化能效,助企业降15%-30%能源成本,还介绍了其功能、架构等。

小华同学ai
算法论文8

谷歌新论文把内存股价干崩了!KV cache压缩6倍,“谷歌的DeepSeek时刻”

谷歌研究院推出TurboQuant压缩算法,可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失,还能8倍加速计算。虽引发存储芯片巨头股价下跌,但目前只是实验室成果,仅解决推理阶段内存问题。

量子位
新闻资讯7

谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌

谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。

AI前线
推荐文章8

吴恩达来信:如何突破产品管理瓶颈

吴恩达指出编程助手带来“产品管理瓶颈”,即决定构建什么成难题。具备用户同理心的产品经理很关键,可凭直觉决策。还介绍通过多种策略获取用户反馈,强调用数据构建用户心理模型做决策。

DeeplearningAI
产品应用7

使用 Claude Code:会话管理与 100 万 上下文

本文是 Claude Code 的产品使用指南,介绍了其新更新的 /usage 命令,阐述了上下文、压缩、衰减等概念,还给出会话管理建议,如何时开新会话、用回溯替代纠正等,助用户用好该工具。

宝玉AI
产品应用7

Claude推出Agent View:一次管理所有编码会话

Anthropic为Claude Code新增Agent View功能,可集中管理编码会话,已开放研究预览。开发者操作路径清晰,早期用户总结出实用玩法,解决了常开多任务的切换难题,目前部分计划可体验。

AI工程化