「缓存技巧」共找到 245 篇相关文章
Agnes AI 实测：AI 编程真正的瓶颈，99%的人想错了
本文实测Agnes AI，指出AI编程瓶颈在于缓存命中率，而非模型智商。介绍其产品线、评测成绩与价格优势，还分享客户端体验，包括亮点、回滚事故及日志结论，最后点明智能免费后验证更稀缺。
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
我这半年看过最好的 Vibe Coding 技巧
OpenAI 创始成员 Andrej Karpathy 在 X 阐述 Vibe Coding 实践，提出建立三层结构让不同工具各司其职完成开发。介绍不同场景适用工具，还谈及‘后代码稀缺时代’焦虑，给开发者带来启发。
Gemini 的 PPT 生成：使用技巧及模板提示词
Gemini APP 上线 PPT 生成能力，可通过提示词精细控制，还能与谷歌产品打通。文章介绍其使用方法，如开启 Canvas 模式、利用搜索填充内容等，还分享百搭 PPT 风格提示词。
用好Agent最重要的技巧不是Skills，是这四个字。
作者分享使用Agent心得，强调“约束先行”，以Claude Code工作文件夹混乱为例，阐述顶层约束的重要性，介绍其规则体系，还展示全局CLAUDE.md文档，指出约束能让Agent工作更有序。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
从繁杂技巧到极简方案：ROLL团队带来RL4LLM新实践
当前RL4LLM领域发展快但存在标准、结论不一及机制解释不足等问题。阿里巴巴淘天集团和爱橙科技联合高校基于ROLL框架研究，评估关键技术组件，提出简化算法Lite PPO，在多基准上表现佳。