「Prompt Caching」共找到 203 篇相关文章
AI数据工程师在应用中如何"返璞归真"
文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限,指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁,并介绍MktAI知识体系建设。
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。
算力都去哪儿了?这个 Seedance 2.0 生成的梗视频给出了答案
有人用Seedance 2.0将Anakin and Padmé梗做成AI视频讽刺AI行业。视频对话暗示算力用途与宣称不符,最后几秒AI将帕德梅形象处理成擦边画风,揭示算力真实去向。
谷歌公开全新极限压缩算法:LLM提速8倍、内存占用狂降6倍,精度零损失
谷歌推出全新量化算法 TurboQuant,瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点,能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步,实验数据表现优异,将改变搜索格局。
当万相2.5刚开卷有声视频,7月已经发布音频一体化的百度蒸汽机又开卷长视频了
百度升级MuseSteamer蒸汽机视频生成模型,可生成任意长度视频,生成中能更新prompt交互创作。其技术规划前瞻体系化,成本低,在多行业有应用和商业化空间。
Claude Code 之父分享 10 大使用技巧
Claude Code 创造者 Boris Cherny 分享团队使用技巧,如并行工作、先规划再动手、更新 CLAUDE.md 等 10 条经验,还提及打造自动化体系、提升 Prompt 水平等内容,强调多用多想提效。
Harness 工程之道:Skill 原理与最佳实践
文章介绍 Agent Skills,一种为 AI Agent 扩展能力的规范。从概念原理出发,结合 trade-ab-skill 项目,讲解结构规范、触发机制、作用域优先级及最佳实践,还介绍用 skill-creator 创建 Skill 的流程。
17000 tokens的GPT-5系统提示词被意外泄露,以及八点总结~
OpenAI GPT - 5的system prompt被曝光在github,约17803 Tokens、78960 Characters。文章对提示词做八点分析总结,如互动风格、写作要求、工具使用等,还给出工具部分重点。
模型即 Agent 的含金量:Kimi深度研究功能详评
作者分享Kimi深度研究功能体验。其基于端到端自主强化学习技术,会开源模型。在测试中,分析Labubu爆火原因、检索小米发布会内容,展现出强逻辑分析、搜索准确性和数据处理能力,可视化网页也出色。
从browser-use 出发,品 Agent 实现
本文作者以学习总结视角,从browser - use出发解析Agent实现。介绍LLM不同阶段,阐述Agent记忆、规划、工具等要素,通过对话演示和源码分析展示运行机制,还探讨MCP集成和Coze space应用模式。