「缓存技巧」共找到 245 篇相关文章
多模态“卷王”阶跃星辰：如何利用 JuiceFS 打造高效经济的大模型存储平台
有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。
推出4个月就狂赚3亿？！百万用户应用CTO弃Copilot转Claude Code：200美元拯救我的137个应用
Anthropic 公司推出的 AI 编码助手 Claude Code 推出 4 个月吸引 11.5 万开发者，单周处理 1.95 亿行代码，年化收入预估达 1.3 亿美元。开发者认为它优势明显，Soham 级别的生产力，还分享使用技巧。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
Codex 跟练全攻略
本文聚焦 Codex 学习，指出知名 AI 视频博主更新慢，而 B 站有全面的「Codex 跟练」专题，含快速安装、基础入门、进阶技巧、场景应用四个专区，不同阶段用户都能找到合适内容，视频跟练更高效。
分享6个平时我最常用的Prompt心法。
作者作为常靠AI帮忙的普通用户，分享6个与AI对话的心法技巧。包括让AI选角色回答、回答前追问、与AI辩论、预演失败、反向推提示词和双层解释法，助大家与AI有效协作。
Excel新AI插件！华尔街「表哥表姐」对手来了
Anthropic让Claude以插件形态接入Excel，可操作和读取数据、定位单元格内容并说明修改理由。还针对金融领域新增6项技能。Claude已被金融企业广泛使用，或取代金融从业者制表技巧，但核算准确性存疑。
谷歌发布Nano Banana官方保姆级开发教程，代码给你喂到嘴边
谷歌为Nano Banana新模型发布官方保姆级开发教程。介绍了使用Google AI Studio免费测试方法，阐述环境准备，如获取API key、设置结算账户、安装Gen AI SDK，还展示代码实战，以及和模型沟通的技巧。
「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR，有望成Transformer杀手。它统一实现参数共享、自适应计算，兼顾性能与效率。实验显示其推理吞吐量提升，降低计算需求，但能否取代Transformer存疑。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
顶级程序员Andrej Karpathy发文表示已服软！
顶级程序员Andrej Karpathy发文称，从11月到12月其编程工作流剧变，从80%手动+20%AI辅助变为80%AI编程+20%人工修改。他记录用Claude Code编程观察，指出AI有新毛病但提升大，还给出使用技巧等。