搜索：推理缓存优化

「推理缓存优化」共找到 3038 篇相关文章

记录下SGLang开发，优化，debug的技巧之大SKILL时代已来临

文章记录SGLang开发等技巧，介绍Agent在编程开发领域的强大能力，如完成多种工作、提升模型速度。还提及Agent流程优化方向，提醒警惕其偏差，指出人的价值转变，成为设计、把关和提炼者。

GitHub 重新设计 GitHub Issues 导航架构，通过客户端缓存、预测性预取等机制，提升导航性能，使即时导航体验比例从 4%增至 22%，解决大型 Web 应用常见的延迟问题。

Anthropic发布Claude Opus 4.1，是对Opus 4的小升级，提升智能体任务、代码处理和推理能力。付费Claude用户等已可用，价格不变。在编程评测表现佳，获多方好评，官方建议升级。

开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。

上海人工智能实验室报告显示，30B - A3B规模的SU - 01模型不依赖外部工具，经训练在IMO、USAMO、IPhO等奥赛评测达金牌水平。研究还验证更高效科学推理系统路线，有望用于更多科学问题。

一周内，两处 Linux 内核本地权限提升漏洞“复制失败”和“脏碎片”被披露，可使无特权本地用户获 root 权限。前者由 Theori 用 AI 工具发现，后者由 Hyunwoo Kim 发布，均影响页面缓存，与“脏管道”属同一类漏洞。

尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。

GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。

上周，MBZUAI与G42等开源号称「全球最快的开源AI推理模型」K2 - Think，引发广泛关注，图灵奖得主Yann LeCun也转发相关推文。但三天后，ETH苏黎世研究员发文指出该模型存在数据污染、评估方式不合理等问题。

WAIC 2025期间，阶跃星辰上线新一代基础大模型Step 3，7月31日将面向全球开源。还成立“模芯生态创新联盟”，与上海国有资本投资有限公司合作。Step 3性能达开源SOTA，推理效率高，适配多种芯片。