「Prompt缓存诊断功能」共找到 342 篇相关文章
Claude 4破解困扰人类4年系统bug,30年码龄程序员200小时没搞定,GPT-4.1/Gemini-2.5也做不到
30年码龄程序员4年没搞定的顽固型‘白鲸bug’,Claude Opus 4配合Code模式,用30个prompt+1次重启,几小时就破解。此前GPT - 4.1等模型都失败,凸显Claude编程与推理能力强。
扩散语言模型九倍推理加速!上海交大:KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache,复用特征降低计算量。它即插即用,通用于主流dLLM架构,在多个基准测试中实现数倍推理加速,且不降低生成质量。
启发学习:让大模型认知从外化到内生
当下大模型能力多靠人为框架,能力上限受限。文章提出“启发学习”,将其集成到推理侧成Isaac框架,通过Prompt与网络层注入复用旧经验,实验显示能大幅提升大模型任务性能。
4.4k星!给Agent接上「本地免费搜索爬虫」,内置11个skill执行数据搜索、爬取、自动研究
文章推荐开源本地搜索工具wigolo,它是专门给Agent使用的本地网络能力层,可解决本地运行Agent查找资料时使用API麻烦费钱的问题。它功能多样,有搜索、缓存等工具,自带11个Skill。
别再无脑开高推理!Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位,发现性能顶峰在medium档,高档位推理预算多余,会让模型反复校验、偏离需求,在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
Claude Code一周份额,一天就烧完一半?有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发,如思考深度大幅下降,还存在7个叠加的bug,浪费用户token配额。开发者给出应对建议,新版本增加账单透明度和缓存过期提醒,该工具正面临信任危机。
逼AI当山顶洞人!Claude防话痨插件爆火,网友:受够了AI废话
一个叫「caveman」的Claude Code插件在Hacker News爆火,冲破2w星。它核心是条prompt,删掉冠词等废话,号称省75%输出token。但它不压缩模型后台推理token,真实成本节省存疑。
开源两天斩获 1.8K Star!把网站变成命令行工具,支持国内外主流平台!
OpenCLI是开源的AI原生命令行工具,能把网站或Electron应用变命令行接口,复用Chrome登录状态,安全性高。支持19个主流平台,有自修复配置等亮点,还介绍了安装、使用、诊断及下载方法。
Strix AI驱动的漏洞动态验证能力分析
传统SAST工具只能发现‘可能有问题的代码’,无法确认漏洞是否可被利用,导致高误报率。Strix采用‘静态分析 + 动态验证’的混合模式,先定位可疑点,再对漏洞进行真实攻击验证,显著降低误报率。
Hybrid Model Support:阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战,阐述内存管理、关键技术优化方案,验证性能,并指出未来演进方向。