「缓存技巧」共找到 245 篇相关文章
深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍
文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
揭秘 GitHub 11.1k 让你的存储秒变“万能盘”？JuiceFS：最好用的存储系统能为你带来怎样革命性的提升？
云存储成本高、性能差等问题让人烦恼，JuiceFS 可零代码改造，将对象存储升级为高速共享文件系统。它功能丰富、架构有优势，代码示例简单，适用于多场景，相比竞品优势明显。
99%的人都不知道：MCP 必须在 Claude Code 外面装
作者分享飞书MCP安装经验，指出MCP要在Claude Code外安装，介绍用Cursor生成安装命令、验证安装、删除服务等技巧，还整理《MCP安装指令文档》，复制粘贴就能用。
Anthropic：这样构建Agent，性能提升90%！
Anthropic分享从0到1构建多智能体DeepResearch系统的方法，该系统是Claude内置Research功能。干货多，涵盖架构设计、Prompt工程等。多智能体性能比单模型高90.2%，但烧钱，适合高价值复杂任务。
都标5美元，账单差三成！OpenAI高管：token从来没法直接比价
OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
我的网站被攻击了48个小时，Claude Fable 5替我防下了这一切。
作者分享网站AIHOT被‘反AI小队’攻击48小时的经历。Claude Fable 5分析出攻击源于服务器共享项目无防护，还发现安全漏洞。在后续攻击中，它多举措防御，展现强大性能。
用Cursor开启JAVA+AI生涯
本文介绍基于VS Code的编辑器Cursor，它与AI无缝集成、响应快、占内存小。文中给出下载、安装插件、常用快捷键及配置等实用技巧，还提及MCP可接入工具提效，助大家开启JAVA+AI生涯。
我用了一个月Dia浏览器，已经彻底抛弃了Chrome！
作者黄叔结合创始人Josh Miller复盘文，介绍Dia浏览器使用技巧，如信息检索、内容创作等，还对比Arc，指出Dia核心是Chat和Personalization，设计理念优，更适合大众，建议大家使用。