「省钱技巧」共找到 177 篇相关文章
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
Gemini Flash/Lite 更新：更聪明、更快、更省钱
Gemini 2.5 Flash 和 2.5 Flash-Lite 更新，可在 Google AI Studio 和 Vertex AI 上使用。相比稳定型号，预览型号质量和速度提升，效率更高，分别减少一定比例输出令牌。两版本各有优势，如 Flash-Lite 指令遵循等能力提升，Flash 工具使用性能更好。
龙虾之父教你省钱：开源Skill给你的Skill减肥
Skill水平参差不齐，龙虾之父Peter看不下去，写了给Skill做体检的Skill并开源。该技能有5个核心功能，能审计预算、检测重复等，还给出精简描述的方法，可节省提示词预算。
用好Agent最重要的技巧不是Skills，是这四个字。
作者分享使用Agent心得，强调“约束先行”，以Claude Code工作文件夹混乱为例，阐述顶层约束的重要性，介绍其规则体系，还展示全局CLAUDE.md文档，指出约束能让Agent工作更有序。
Fable 5被网友薅出省钱神招！最高减70%！
网友发现把Fable 5上下文转成图片，让模型通过OCR读取，token输入成本最多省70%。方法pxpipe在GitHub获3000+STAR，本质是本地代理，还引出谷歌老论文及DeepSeek - OCR相关技术。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
LLM省钱大测评！48块GH200，首个百亿级参数量实证
EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验覆盖多方面。研究表明效率优化需权衡，最优策略因任务和模型规模而异，且相关技术可迁移到跨模态模型，成果将开源。
从繁杂技巧到极简方案：ROLL团队带来RL4LLM新实践
当前RL4LLM领域发展快但存在标准、结论不一及机制解释不足等问题。阿里巴巴淘天集团和爱橙科技联合高校基于ROLL框架研究，评估关键技术组件，提出简化算法Lite PPO，在多基准上表现佳。
小扎的残酷算术题：砸6000亿搞AI，裁1.6万人省钱
路透社爆料Meta计划裁员20%约1.6万人，这或为其自2022年底以来最大规模裁员。与此同时，Meta在AI投入巨大，如6000亿美元建数据中心等，但模型表现不佳，如Llama 4反响平平、Avocado推迟发布。
英伟达帮你省钱，让大模型推理「短而精」，速度快5倍
过去大模型推理追求长链思维，导致推理链长、Token消耗大、响应慢。英伟达研究院的DLER研究给出解决办法，通过强化学习优化方法让模型‘短而精’，推理长度减超70%且准确率不变，还适用于大模型。