「提示缓存」共找到 553 篇相关文章
Claude团队大揭秘!如何调动多智能体搞深度搜索
Claude团队分享用多智能体构建深度搜索的心得,展示有效多智能体研究系统架构,涵盖系统架构、提示工程、评估方法等内容,还提及系统面临的问题、挑战及额外建议。
深度解读《AI 智能体的上下文工程》:构建高效 Agent 的七个宝贵教训
作者解读 Manus 团队文章,结合自身理解总结出构建高效 Agent 的 7 个关键点,如依赖上下文工程、提升 Prompt 缓存命中率等,还给出总结与核心启示,对 Agent 开发有借鉴意义。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。
英伟达开源上瘾了!推出了一款实时语音智能体的终极 ASR:24ms 极速锁定。
英伟达开源了Nemotron Speech ASR模型,它是低延迟、实时流式语音识别模型,单句转录锁定仅需24毫秒。其核心能力包括缓存感知、运行效率高、动态运行灵活,还被放进完整语音智能体方案。
写给Agent的Loop,关键不在循环那六行代码本身
最近‘别再一句句给Agent写提示词,去写循环’说法火了。虽循环代码简单,但关键在模型周围。循环工程有四大难点,角色也从操纵Agent变为设计系统,不过此说法也有反对声。
AI智能体的上下文工程:Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得,包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容,还指出要保留错误信息、避免小样本带偏等。
腾讯发布Hunyuan-GameCraft!从静图进入动态游戏世界
近年来,现有方法难满足游戏视频生成需求。腾讯推出Hunyuan - GameCraft,可基于一张图像和提示词生成游戏交互视频,能精准响应交互信号,保留历史场景信息,不过动作空间待丰富。
谷歌公开全新极限压缩算法:LLM提速8倍、内存占用狂降6倍,精度零损失
谷歌推出全新量化算法 TurboQuant,瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点,能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步,实验数据表现优异,将改变搜索格局。
一个任务50次调用,成本狂砍90%?Manus首次公开上下文工程秘诀,一堆反复重写换来的教训
Manus项目团队分享上下文工程秘诀。他们押注于此,使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则,助构建AI Agent者少走弯路。
3000行代码长出无限技能:AI Agent自我进化时代来了
4月17日GitHub Trending上,Evolver和GenericAgent两个“自我进化”Agent框架登上热榜。Evolver用“基因进化”让提示词自动升级,GenericAgent以3000行种子代码长出独有技能树,二者代表不同进化范式。