「KV缓存机制」共找到 1001 篇相关文章
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
不改模型也能提升推理性能？ICLR投稿提出测试时扩展新范式OTV
ICLR 2026投稿论文提出单token验证（OTV），是测试时扩展新机制，让模型能边推理边判断正误。它基于并行思考思路，借助轻量内部验证器分析推理过程，实验显示其性能优于主流方法。
谷歌一篇论文引爆存储芯片崩盘！AI内存需求暴降6倍，推理狂飙8倍
谷歌发布TurboQuant算法，将缓存压到3 - bit，内存占用降为1/6，推理速度提升8倍。该算法冲击存储巨头，引发股价下跌，虽目前未改变采购量，但改写推理成本，且从论文到落地的路在缩短。
大规模替换数据库序列，保障百余个服务平稳运行
Coupang从关系型数据库迁移到NoSQL时，为解决序列替换问题，自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制，以DynamoDB为数据源，让百余个服务无需重写代码完成迁移，性能和成本表现佳。
OpenAI这招太狠！AI从「躲猫猫」到「自爆黑料」，主打一个坦白
随着AI进入高风险场景，透明、安全变得重要。OpenAI提出「忏悔机制」，让模型回答后产出自我坦白报告，不影响主回答评分，只考察诚实，能提升不良行为可见性，目前仍处概念验证阶段。
OpenAI偷装Anthropic Skills实锤，ChatGPT、Codex已植入！开发者实测11分钟造PDF：比MCP强！
近日开发者发现 OpenAI 悄悄支持了 Claude 构建的 Agent Skills 机制，内置 excel、word 和 pdf 等技能。其实现理念与 Anthropic 相似，且 Skills 支持功能已落地 ChatGPT 和 Codex。业内对 Skills 看法不一，但它为智能体发展带来新方向。
Claude爆火研究漏引华人团队成果，已挨打立正道歉
Anthropic新论文研究Claude“情绪机制”，漏引华人团队Chenxi Wang去年10月论文。经沟通，A社已道歉并更新博客引用。华人团队论文首篇系统研究LLMs情绪机制，解答核心问题，成果显著。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
AAAI 2026 Oral｜LENS：基于统一强化推理的分割大模型
文本提示图像分割技术有战略意义，但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架，采用强化学习机制，还介绍其架构、奖励机制，该框架在测试中表现优异，代码已开源。
大模型也需要睡觉！让AI打个盹，醒来更聪明
卡内基梅隆大学和马里兰大学研究发现，大模型处理长上下文易累傻。受人脑机制启发，设计睡眠机制，让模型在上下文窗口快满时打盹，反复咀嚼信息，压缩进长期权重。测试显示，增加“睡眠”轮次能提升深度推理表现。