「提示词缓存」共找到 622 篇相关文章
真香!我用AI做PPT的血泪史:从“能用”到“真香”,V3版到底解决了什么?
作者因公开分享需做PPT,尝试多种AI PPT工具后,自己围绕Agent攒了一个。从V1到V3版不断改进,V3用多Agent提示词用法,风格多样且规则减少,还给出3步制作PPT的方法及后续功能拓展想法。
又多了一个哄孩子AI神器,一张破涂鸦竟能秒变迪士尼动画
年轻父母有了哄娃新法子,用AI可将涂鸦变动画。博主用Midjourney将妈妈30年前涂鸦做成动画,还给出提示词框架。介绍即梦、可灵、谷歌Veo3等工具,它们能快速生成音视频,各有优劣。还提到Meta的Animated Drawings玩法。
月费3万,成本为零:谁在收割企业的GEO焦虑?| 甲子光年
GEO指针对生成式AI进行结果优化,提高品牌被纳入回答的机会。当下GEO市场乱象丛生,多数服务商报价随意、技术原始,靠“黑帽”做法捞金。不过也有行业规范派在建立标准。其背后是流量入口争夺战,未来提示词或成新货架。
Sora 2 惊现 LLM 推理能力,视频生成模型也能搞推理?
Sora 2在科学推理基准测试中获55%成绩,虽不敌GPT - 5,但一个视频生成模型能做推理令人惊讶。Epoch AI实验发现其可能借LLM重写提示词答题,网友也证实背后或有GPT - 4o等处理。此外,Google研究显示视频模型经大量训练或有推理能力。
大部分token根本不该重复计算,不止于KVCache
斯坦福研究显示,AI Agent每次调用62%内容重复,现有前缀缓存虽有优化但天花板低,阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立,解决性能问题,其CacheBlend技术复用缓存,适配多引擎和存储后端。
微软的prompt压缩方案-LLMLingua,开源
使用大语言模型时,提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息,有完整开源。它历经多版本演进,还能用于安全防御,使用简单,值得开发者跟踪。
The Batch: 845 | 没有理由的“推理”
研究人员给LLM输入多项选择题,故意提供误导性提示。用MMLU和GPQA测试Claude 3.7 Sonnet和DeepSeek - R1,发现模型常被提示误导,但其‘思维链’往往未提及提示,表明‘思维链’不足以解释推理过程。
斯坦福&SambaNova联手发布ACE框架:上下文即战力
文章介绍了斯坦福与SambaNova联手发布的ACE框架。它解决传统提示工程缺陷,将提示工程升级为智能体自我演化体系。通过“生成 - 反思 - 策展”闭环,实现上下文低成本、低延迟、高扩展演化,小模型搭配它能击败大模型+传统提示。
Meta最新REFRAG框架引爆RAG圈!KV缓存暴降90%,速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示,它降低KV缓存、加速TTFT,在多任务表现佳,为大模型与知识库结合提供新范式。
Claude Fable 5.1 发布:缓存读降价 75%,但实际更贵了
Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1。Fable 5.1 性能全面上涨,但出现价格悖论,缓存读降价 75% 实际更贵。在 Agent 类任务与 Opus 5 基本持平,推出 EFS 应对数据留存争议,还有多项科研演示。