「显存管理」共找到 591 篇相关文章
吴恩达来信：如何突破产品管理瓶颈
吴恩达指出编程助手带来“产品管理瓶颈”，即决定构建什么成难题。具备用户同理心的产品经理很关键，可凭直觉决策。还介绍通过多种策略获取用户反馈，强调用数据构建用户心理模型做决策。
使用 Claude Code：会话管理与 100 万 上下文
本文是 Claude Code 的产品使用指南，介绍了其新更新的 /usage 命令，阐述了上下文、压缩、衰减等概念，还给出会话管理建议，如何时开新会话、用回溯替代纠正等，助用户用好该工具。
Claude推出Agent View：一次管理所有编码会话
Anthropic为Claude Code新增Agent View功能，可集中管理编码会话，已开放研究预览。开发者操作路径清晰，早期用户总结出实用玩法，解决了常开多任务的切换难题，目前部分计划可体验。
让Agents更聪明，3招搞定记忆管理~
文章深度分析开源项目Memori，探讨Agent记忆管理。它将记忆分短期和长期，通过三个Agent协同工作实现长短期记忆功能，使记忆成结构化知识库，且能无缝衔接多种API。
微软预览 Foundry Agent Service 长期记忆功能，简化状态管理
在年度 Ignite 大会上，微软宣布公开预览 Foundry Agent Service 中的记忆功能，这是全托管长期记忆存储，与代理服务原生集成。开发者可存储、检索和管理关键上下文，系统自动处理复杂“管道”。
以「图」破局，HyperOffload定义超节点存储管理新范式
随着生成式AI进入万亿参数时代，大语言模型面临“显存墙”挑战。上海交大与华为MindSpore团队发布技术报告《HyperOffload》，其核心技术集成于MindSpore 2.8，能提升超节点异构资源协同效率，已在多项目落地。
OpenAI奥特曼认错：我天生不适合管理公司
OpenAI CEO奥特曼在a16z采访中回应热点问题，阐述三大核心战略，谈及Sora 2等热点话题，还称自己不适合管理公司。他提到目标、对垂直整合看法、Sora与AGI关系等内容。
一条SQL管理向量全生命周期，让AI应用开发更简单
在大模型驱动的AI浪潮中，向量在AI应用开发中至关重要，但开发者面临技术栈分裂等隐形成本。PolarDB IMCI提出解决方案，在数据库内核集成向量索引与Embedding能力，用一条SQL管理向量全生命周期，降低开发和维护门槛。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。