搜索：分层缓存 - AI Reading Hub

「分层缓存」共找到 265 篇相关文章

全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注

康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。

谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。

具身智能正处热门，国内今年上半年赛道融资额高涨。但钱与落地有落差，拉格朗日具身技术自研 Agentic OS，采用分层智能架构处理工程问题。还推动工序重构，制定技能矩阵和排期计划，其团队背景多元，赌让机器人干完活路径。

文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开，先介绍问题及官方baseline，后详细解读rank1代码，含数据加载、线程模型等，还剖析核心计算函数，最后总结代码在缓存控制、数据格式等方面的调优亮点。

作者询问DeepSeek延长周末的方法，其给出工作日压缩、周末扩容、心理延展、进阶管理等策略，还介绍建立“时间折叠”意识，不少豆友分享实践感受。

吉林大学、台湾大学和微软亚洲研究院联合提出MindPower Benchmark，构建以机器人为中心的ToM推理框架，统一建模环境感知、心智推理等，还构建数据集和评估指标。引入Mind - Reward强化优化，提升ToM决策与动作生成性能。

传统Agent防御机制易致延时积累，研究者联合推出Spider - Sense智能体防御框架，利用两大核心技术将防御延时从200% + 降至8.3%，在主流数据集和新基准测试中表现优异。

当AI Agent调用工具结果大量涌入上下文窗口，LLM性能会下滑。Manus联合创始人拆解其上下文工程逻辑，给出‘减少、卸载、隔离’三大策略及模型选择等方法，还提炼出6条实践启示。

文章介绍北京AI原点社区，它2026年1月入选北京首批人工智能创新街区。这里无物理边界，三区融合，核心区16万平。企业可通过原点学堂等入驻，有补贴等资源。个人不挂靠公司也能用其资源，并给出使用建议。

文章介绍 Agent Skills，一种为 AI Agent 扩展能力的规范。从概念原理出发，结合 trade-ab-skill 项目，讲解结构规范、触发机制、作用域优先级及最佳实践，还介绍用 skill-creator 创建 Skill 的流程。