「双层缓存」共找到 126 篇相关文章
“烧掉94亿个OpenAI Token后，这些经验帮我们省了43%的成本！”
作者以月耗94亿OpenAI Token实战经历，分享优化成本经验，如选对模型、用提示词缓存、设账单预警等，降低成本43%，不过网友对此有不同看法。
告别数据「噪音」，UCSD大模型推理新方法DreamPRM充当「信号放大器」，登顶MathVista测评榜
DreamPRM由加州大学圣地亚哥分校团队开发，在MathVista测评榜夺冠。它通过双层优化框架解决多模态过程奖励模型训练难题，能与多模态大模型集成，提升推理能力，实验效果显著。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
深度解读《AI 智能体的上下文工程》：构建高效 Agent 的七个宝贵教训
作者解读 Manus 团队文章，结合自身理解总结出构建高效 Agent 的 7 个关键点，如依赖上下文工程、提升 Prompt 缓存命中率等，还给出总结与核心启示，对 Agent 开发有借鉴意义。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
英伟达开源上瘾了！推出了一款实时语音智能体的终极 ASR：24ms 极速锁定。
英伟达开源了Nemotron Speech ASR模型，它是低延迟、实时流式语音识别模型，单句转录锁定仅需24毫秒。其核心能力包括缓存感知、运行效率高、动态运行灵活，还被放进完整语音智能体方案。
AI智能体的上下文工程：Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。
谷歌公开全新极限压缩算法：LLM提速8倍、内存占用狂降6倍，精度零损失
谷歌推出全新量化算法 TurboQuant，瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点，能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步，实验数据表现优异，将改变搜索格局。
一个任务50次调用，成本狂砍90%？Manus首次公开上下文工程秘诀，一堆反复重写换来的教训
Manus项目团队分享上下文工程秘诀。他们押注于此，使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则，助构建AI Agent者少走弯路。
开源一周狂揽 7.6K Star！这个爆火的「同事.skill」可以将“数字遗产”炼成 AI！
开源项目colleague-skill上线不到一周获7600+ Star。它由@titanwings开发，可凭同事材料生成能替其工作的AI Skill，有双层架构、多源采集等亮点，还介绍了使用方法与项目结构。