「Prompt缓存诊断功能」共找到 356 篇相关文章
评论送书 | 一文读懂多Agent系统演进趋势
文章指出多Agent系统成大模型应用重要方向。分析大模型交互的上下文瓶颈，如语义膨胀、信息密度不均等；阐述Agent间协同结构演化，包括松耦合编排、语义协同等；还说明传统Prompt工程局限及通信与上下文协议的作用。
开启端侧长文本时代！面壁全新架构，让小钢炮最快提升220倍
2025智源大会上，面壁智能发布MiniCPM 4.0模型，实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色，降低缓存需求，提高运行效能，还进行多维度架构创新，是AI领域探索高效率语言模型的里程碑。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
从CLI原理出发，如何做好AI Coding
文章从CLI原理出发探讨AI Coding，介绍CLI产品美学、技术原理，比较Single Agent与Multi Agent，还给出用好CLI写代码的建议，如正确认识AI、学习Prompt工程等，最后提及利用通义万相AIGC实现图像生成。
大规模替换数据库序列，保障百余个服务平稳运行
Coupang从关系型数据库迁移到NoSQL时，为解决序列替换问题，自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制，以DynamoDB为数据源，让百余个服务无需重写代码完成迁移，性能和成本表现佳。
都在卷「让大模型多循环几遍」，这个7B模型LoopCoder v2说：多循环 1 次就够了
当下推理模型流行在测试时多循环，以打磨答案。但新研究发现，7B模型LoopCoder v2只多循环1次（共2次），就能大幅提升性能，继续增加循环次数，性能反而下降。研究还分析了收益与成本，给出选择循环次数的诊断方法。
Loss收敛不代表学会：腾讯混元ACL 2026拆解SFT训练中15.3%的“假学会”样本
大模型微调（SFT）是主流LLM落地方案，但大家默认训练完就是学完了。腾讯混元团队发现SFT存在不完全学习现象（ILP），论文完成了定义ILP、找根因、提诊断框架和验证干预等工作。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
【翻译】在 Codex 中使用 Goals：长时间工作的持久目标
文章介绍 Codex 中的 Goals，它是持久目标，能让线程跨多轮对话朝明确结果推进。阐述了 Goals 与普通 prompts 的区别、编写方法、活跃后的变化、设计方式及适用场景等，还通过案例展示其在研究任务中的应用。