「缓存机制」共找到 950 篇相关文章
NanoCoder：我把50万行的claude code核心机制浓缩成1000行，不可能学不会了吧！
Claude Code 源码泄露后，kimi Agent 团队何宇峰大佬的 NanoCoder 项目，用 950 行 Python 代码重写其核心机制。它实现 7 种关键设计模式，可助理解顶级 AI 编程 Agent 核心设计，还能按需修改。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
Claude 5.1双旗舰突然发布：跑分屠榜，反蒸馏，科研能力大幅跃升，缓存费用暴降75%
Anthropic发布Claude Fable 5.1和Claude Mythos 5.1两款大模型，性能登顶且解决开发者关注问题。缓存读取费用降75%，跑分屠榜，科研能力强，安全系统重构，合作实测效果好，盲测风格与GPT - 5.6 Sol不同。
AI 唱得比顶流歌手还精准！周亚辉盛赞百倍跃进，高晓松直言：AI 和我不是一个创作机制
近日昆仑天工发布 Mureka V8 音乐大模型，昆仑天工董事长周亚辉称其标志 AI 音乐达大规模工业化应用成熟度。高晓松认为 AI 与自己创作机制不同，但也肯定其能力，当前 AI 音乐正重塑产业权益结构。
超长 Agent 任务如何不崩盘：Claude Code 上下文管理机制深度拆解。
文章深度拆解Claude Code上下文管理机制，包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统，还为长任务Agent开发者提供了管理启示。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
灵码+Qwen3-Coder——使用Skill机制实现代码审核
本文探讨在灵码内使用Claude Skills能力，介绍其实现机制、灵码适配方案。还以代码审核场景为例，展示自定义Skill的创建方法，总结Claude Skills优势及应用场景，展望其与MCP的发展前景。