「双层缓存」共找到 126 篇相关文章
快慢Reasoning综述！
大型语言模型在复杂推理任务中有‘无差别计算’缺陷，阻碍其在多场景应用。本文提出双层效率优化框架，梳理两类前沿技术，通过实验揭示瓶颈，为轻量化推理指明路径。
优步凭借 CacheFront 的改进实现每秒 1.5 亿次的读取操作
优步工程师更新 CacheFront 架构，实现每秒 1.5 亿次读取操作且确保强一致性。解决了旧设计中陈旧数据读取问题，引入新协议和机制，弃用专用 API，还增强监控工具，提高缓存命中率。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
Hermes 登顶 OpenRouter 之后，我才发现它最缺的那一块，被这个插件补上了
Hermes Agent 三个月登顶 OpenRouter，虽好用但记忆处理有缺陷，记忆库成大杂烩。记忆张量的 MemOS Local Plugin 2.0 可解决此问题，采用‘执行即学习’，有双层反馈机制，且资产可携带。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
超长 Agent 任务如何不崩盘：Claude Code 上下文管理机制深度拆解。
文章深度拆解Claude Code上下文管理机制，包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统，还为长任务Agent开发者提供了管理启示。
文生图进入R1时代：港中文MMLab发布T2I-R1，让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法，解决生成评估难题，为多模态生成提供新范式。
搜索已死？被AI投毒搞怕了的我开始重新看待百度
作者辅导孩子背诗遇读音疑问，问AI结果更懵，百度则给出清晰准确答案且标注来源。原因在于AI基于大模型‘概率预测’易‘编答案’，百度用‘双层Agent’架构结合内容治理，答案更靠谱。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。