「缓存技巧」共找到 245 篇相关文章
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
最强编码模型 Fable 5.1 发布：性能翻倍、Agent 成本降 45%，Anthropic 把顶级模型送进真实世界
当地时间9月1日，Anthropic发布Claude Fable 5.1和Claude Mythos 5.1，新模型在多方面能力提升，Agent工作负载成本最高降45%，此次发布还涉及价格、数据留存等多方面内容，争夺高价值任务市场。
干掉 .md？兜里 Token 不够，没法和 Karpathy 共情
近日，围绕‘Markdown 是否已过时’讨论升温。Theo Browne 视频阐述‘HTML 优于 Markdown’五大理由并分享实操技巧，虽指出 HTML 有费 Token、版本控制差问题，但仍倾向用 HTML，不过也有开发者质疑。
大佬深度解析：Coding Agent的底层运行逻辑是什么？
本文由AI领域知名学者Sebastian Raschka撰写，探讨编码智能体及其编排的设计、工作原理和组件协同。指出智能体周边支撑系统重要性不亚于模型本身，详细阐述编码智能体六大核心构建模块。
「必读」新鲜出炉，全都看过来：Claude code团队内部skill构建踩坑经验大全来了
Claude code团队成员Thariq分享内部构建Skills经验。介绍Skills类型，如库和API参考、产品验证等；给出制作技巧，像聚焦关键信息、建立“常见坑”专区等；还提及分发、管理、组合及衡量效果的方法。
从传统编程转向大模型编程
文章指出大模型编程时代，开发者要从‘代码产出者’变为‘文档定义者’，介绍其优势、人+AI结对编程模式，还提及模型工具技巧、开发流程、常见陷阱及应对策略，强调文档驱动和安全合规。
LLM 语境下，「持续学习」是否是 「记忆」 问题的最优解？
本期通讯解读 3 个 AI 业内要事，包括谷歌嵌套学习范式引争议、AI 产品记忆方向探讨、英伟达合成数据等。谷歌 NL 范式想规避遗忘问题，测试中 HOPE 表现优，但也遭质疑，当前 LLM 研究更关注改善记忆。
国科大 ｜ 提出进化算法：EvolKV，自适应分配KV Cache，预算降至1.5%！
键值缓存（KV cache）是大模型快速运行核心技术，但输入文本越长，存储和处理问题越突出。国科大提出进化算法EvolKV，自适应分配KV Cache，实验显示其效果显著，预算可降至1.5%。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。