「提示词缓存」共找到 644 篇相关文章
上下文工程的崛起:提示工程已是过去式
大模型应用从简单问答转向复杂智能体系统,技术焦点正从提示工程转向上下文工程。上下文工程核心是为大模型提供恰当信息与工具,其重要性日益凸显,且与提示词工程有明显区别。
Nano Banana Pro 一键极速分镜
Nano Banana Pro能通过一个提示生成叙事型九宫格分镜,用户可构思故事或修改已有故事,还能放大分镜、提示AI修改,该流程极大提升视觉叙事速度,文中还给出提示词示例及任务要求。
缓存不该困在一台服务器里
本文分析大模型推理阶段KV缓存的行业痛点,指出传统单机缓存孤立无法跨节点复用的问题,介绍焱融科技的分层共享缓存方案,公开了方案的实测性能数据,展现AI存储的新发展方向。
Cloudflare 如何将 Quicksilver 迁移到多级缓存并处理数十亿个请求
Cloudflare 工程团队分享将全局键值存储 Quicksilver 过渡到分层缓存架构的故事。从 V1 到 V2 迁移,采用多级缓存策略,解决存储、一致性等问题,提升性能,多数请求可在短时间内响应。
Claude上线Prompt缓存诊断功能,终于不用盲猜token成本暴涨的原因
Claude宣布Prompt缓存诊断功能登陆控制台,可解决缓存失效排查痛点。此前开发者排查效率低,新功能能显示变动位置与token损耗。目前处于beta阶段,介绍了使用方法、支持的失效原因及功能限制等。
刚刚,谷歌放出Nano Banana六大正宗Prompt玩法,手残党速来
谷歌 Nano Banana 被网友玩出花样,背后是巧妙提示词的功劳。刚刚谷歌官方公布了该模型六个文本转图像提示,可进行文本生成图像等操作,还给出对应提示模板,不过使用中也存在一些问题。
谢赛宁团队新作:不用提示词精准实现3D画面控制
谢赛宁团队新发布的Blender Fusion框架,结合图形工具 (Blender) 与扩散模型,让视觉合成不再仅依赖文本提示,实现精准画面控制。其核心是对现有技术高效组合,还透露两项训练技巧提升泛化性。
Grab 工程实践:将 LRU 升级为 TLRU,Android 图片缓存节省 50MB+
为改进 Android 应用图片缓存管理,Grab 工程师将 LRU 升级为 TLRU。通过引入基于时间的过期机制,fork Glide 项目扩展 DiskLruCache 实现。此方案让 95% 用户缓存省 50MB,可回收数 TB 存储空间。
关键词挖掘3步法,帮你找到用户真正想搜的词【干货】
作者白杨SEO结合ChatGPT选题,分享3步关键词挖掘法。先找种子词,可从产品、人群需求、对手入手;再拓展长尾词,用搜索引擎、工具、AI辅助;最后数据筛选,看搜索量、竞争度、商业价值。
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。