「显存管理」共找到 591 篇相关文章
9k星星!知名特效团队开源「完美AI绿幕抠像工具」,8G显存的老Mac都能跑
知名特效团队Corridor Digital开源抠像软件CorridorKey,只需8G显存,N卡和Mac都能跑。它针对复杂边缘和色彩溢出问题提供解决方案,能精准捕捉发丝级细节,功能强大。
消费级显卡跑大模型训练门槛再降:Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降,Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作,有推理优势,还在内存优化等方面表现出色。
一个能思考、会记忆的AI导演诞生了!新加坡管理大学,香港中文大学等实现故事化视频生成
新加坡管理大学等提出开源全能多智能体框架UniVA,可统一视频理解、分割等能力,按指令生成完整故事视频。还引入UniVA - Bench基准测试套件,实验显示其在多任务中表现出色,代表视频智能生成重要进步。
Token售卖已无溢价、大模型公司转型“系统商”?记忆张量 CTO 李志宇:智能体能力会拉开差距,长期记忆与状态管理成竞争核心
InfoQ 采访记忆张量 CTO 李志宇,他指出 Scaling up 经济效益下降,大模型公司正变系统公司,核心是长期记忆与状态管理能力。2026 年若模型无代际差,价格战或加剧。智能体是主赛道,但现有模型推理能力不足。
图解Vllm V1系列6:KVCacheManager与PrefixCaching
文章聚焦vllm v1,阐述调度器取请求时判断设备有无充足空间做推理的问题,涉及KVCacheManager与Prefix Caching。前者管理请求和块,后者通过找最长一致前缀节省显存,还介绍块分配释放策略与流程。
Claude Code 开发者分享:如何管理百万上下文
Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制,提出完成操作后的五条岔路,还给出不同场景的决策建议,强调会话管理要平衡信息量和注意力。
突破Agent长程推理效率瓶颈!MIT&新加坡国立联合推出强化学习新训练方法
AI Agent处理复杂任务时显存、算力问题凸显,MIT和新加坡国立大学联合提出MEM1框架。它基于强化学习,让智能体学会管理记忆,实现近似常量级显存开销,在多方面表现超越大模型。
超长 Agent 任务如何不崩盘:Claude Code 上下文管理机制深度拆解。
文章深度拆解Claude Code上下文管理机制,包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统,还为长任务Agent开发者提供了管理启示。
Cursor AI 上下文管理的秘诀
Cursor发表《Dynamic context discovery》文章,讲述上下文管理秘密,提出“动态上下文发现”模式,分享五个优化手段,如长输出变文件、聊天历史变档案等,还阐述了为何用“文件”及相关思考。
Boris Cherny:Claude Code 之后,写代码正在变成“管理 Agent”
这是对Anthropic内部Claude Code创建者Boris Cherny的访谈。他介绍了Claude Code从三人孵化项目发展的历程,分享工作流,探讨编程现状、SaaS未来、产品与模型关系等,还给出软件大众化等观点。