「KV缓存机制」共找到 1001 篇相关文章
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾，常见上下文加载方案有局限，缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略，还讲了其在Java中的实现，最后分析了适用与不适用场景。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制，包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化，介绍了各机制代表项目及成果，指出 AI 学习正从训练溢出到部署阶段。
Couchbase与爱奇艺的十年之约：Magma引擎如何破解TB级缓存性能与成本难题？
在AI驱动应用革新浪潮下，海量数据处理的性能与成本平衡成挑战。Couchbase技术直播中，爱奇艺专家分享实践经验，揭秘其如何破解性能、扩展性与成本难题，还介绍了Capella AI Services等。
谷歌Gemini 4全面开火：API限时半价、缓存直降95%，自建仿真教会机器人连中7球
本文报道谷歌发布新一代旗舰大模型Gemini 4 Argon，详解其性能升级、定价优惠、多领域落地成果与安全优化，对比了它与OpenAI、Anthropic旗舰模型的评测成绩，展示大模型落地真实场景的最新进展。
刚刚，谷歌Gemini 4全面开火：API限时半价、缓存直降95%，自建仿真教会机器人连中7球
本文报道谷歌发布新一代旗舰大模型Gemini 4 Argon，该模型升级百万token上下文窗口，多项专业评测成绩领先，推出限时降价促销，落地工程、科研、机器人等多场景，同时披露大模型新安全风险与应对方案
谷歌公开全新极限压缩算法：LLM提速8倍、内存占用狂降6倍，精度零损失
谷歌推出全新量化算法 TurboQuant，瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点，能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步，实验数据表现优异，将改变搜索格局。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
优步凭借 CacheFront 的改进实现每秒 1.5 亿次的读取操作
优步工程师更新 CacheFront 架构，实现每秒 1.5 亿次读取操作且确保强一致性。解决了旧设计中陈旧数据读取问题，引入新协议和机制，弃用专用 API，还增强监控工具，提高缓存命中率。