「缓存加速」共找到 699 篇相关文章
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
英伟达发布 Jet-Nemotron 系列小模型，理论最大加速比 56 倍
英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。
深度拆解 Hermes Agent 的记忆系统：它如何修正 OpenClaw 的误区
文章深度拆解 Hermes Agent 记忆系统，介绍其四层记忆系统，包括提示词记忆、SQLite 历史会话存档、智能体技能管理和用户建模。与 OpenClaw 对比，Hermes 更关注缓存效率，遵循冷热分离、缓存优先等原则。
超棒！打造顶级智能体Claude Code的经验教训
Claude Code工程师Thariq文章受开发者盛赞，揭示打造智能体经验。提示词缓存是关键，要合理排列顺序；管理动态上下文需避免破坏缓存；为智能体选适配工具，随模型进化调整行动边界。
Claude Fable 5.1 发布：缓存读降价 75%，但实际更贵了
Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1。Fable 5.1 性能全面上涨，但出现价格悖论，缓存读降价 75% 实际更贵。在 Agent 类任务与 Opus 5 基本持平，推出 EFS 应对数据留存争议，还有多项科研演示。
VAST完成5000万美元A轮融资，加速构建世界模型与UGC互动内容平台
通用人工智能公司 VAST 完成 5000 万美元 A 轮融资，由阿里、恒旭资本联合领投。该公司在 3D 领域成果显著，发布全新 AI 3D 大模型家族，还将重点投入世界模型研发和 UGC 互动内容平台建设。
Claude Code 省 Token 指南：慎用 1M 上下文，不开新会话或者总是开新会话都不对
文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
算法1年翻倍，芯片2年翻倍？重磅实锤：AI正在自我加速，拦不住了
NBER论文证明AI研发自我加速反馈环强度远超其他科技领域，芯片效率每2年、算法效率每1年翻倍。部分自动化就能引爆反馈环，全行业13%自动化率或软硬件17%自动化率可触发奇点，6年内AI可能实现自我迭代。