「缓存技巧」共找到 245 篇相关文章
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。
刚刚，Anthropic公布Fable 5.1保姆级使用技巧，看完少走十天弯路
Claude Fable 5.1虽可兼容旧版提示词，但行为习惯有变化。官方整理提示词与工程落地指南，涵盖思考程度、工具调用进度汇报、独立工具批量调用等多方面使用技巧和避坑细节。
24条小红书流量方法，AI使用者分层，各平台账号解封技巧等，【收藏】
这篇综合文包含6篇合集，涵盖小红书流量增长心法、AI使用者分层、平台账号解封技巧、创业者项目放大方法、烘焙店盈利策略及执行力探讨等内容，对搞流量、创业及用AI有启发。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
ACL 2026 | LCA：DeepSeek 长文本加速神器，90% KV 缓存缩减 + 2.5 倍推理提速
琶洲实验室等团队提出潜在空间压缩注意力（LCA），入选 ACL 2026。LCA 突破传统注意力机制瓶颈，适配不同大模型，降低硬件门槛与成本，提升推理效率。论文与代码已开源。
吴恩达老师分享的做 MVP（最简可行产品，minimum viable product） 的技巧
吴恩达分享做MVP技巧，建议时间有限时缩减项目范围，如一小时内借助代码助手做小部分。他以做虚拟观众模拟器为例，说明此方法能推动项目、收集反馈，让创意快速落地。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。
Couchbase与爱奇艺的十年之约：Magma引擎如何破解TB级缓存性能与成本难题？
在AI驱动应用革新浪潮下，海量数据处理的性能与成本平衡成挑战。Couchbase技术直播中，爱奇艺专家分享实践经验，揭秘其如何破解性能、扩展性与成本难题，还介绍了Capella AI Services等。
Bolt、Lovable使用10大技巧 | 一行提示词构建沉浸式故事型个人站点（别用简历了，丢给AI建个网站）
文章分享用Bolt、Lovable、Cursor打造个人网站的技巧。介绍四步法则，包括告知自身情况、定风格、提喜欢品牌、添加动画，还给出完整提示词模板，称提示越精细效果越好。
刚刚，Anthropic 工程师公开了内部数百个 Skill 的打造秘诀
Anthropic工程师Thariq分享Claude Code Skills打造经验，介绍Skill类型、写作技巧、分享与度量方法。指出Skill是文件夹，有九大类，还给出九条写作技巧，强调好Skill在实践中成长。