搜索：推理缓存优化

「推理缓存优化」共找到 3038 篇相关文章

智能流体力学青年学者论坛第29讲：刘军博士——人工智能技术在工业产品设计中的应用

本报告重点介绍贝叶斯优化技术在工业气动设计产品设计上的应用，采用特定方法用于电动汽车暖通空调系统设计，以降低CFD成本。还简单介绍工业产品优化设计中另外两种成功方法。

随着DeepSearch问世，搜索模式正从传统网络搜索向智能体搜索转变。文章拆解Search Agent核心模块，围绕制定任务、搜索、优化、应用和评估分析，介绍各模块特点、架构及优化方向等。

文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。

PKINet - v2是改进的遥感目标检测模型，能处理复杂形状和尺度变化问题。它在PKINet基础上升级，统一条带与方形卷积，部署时折叠为单大核。在多数据集上精度和速度提升，可服务多领域，但对特殊目标仍有检测问题。

近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。

文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。

当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。

北大李萌课题组与蚂蚁集团研究者共同完成综述，从协议、模型和系统三个维度梳理隐私保护机器学习（PPML）领域，指出当前痛点，给出优化策略，还提出跨层级协同优化方向。

英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。

文章深入探讨RAG技术实现与优化，指出其在AI应用开发中常被当黑盒，从文档分块、索引增强、编码、混合检索到重排序等关键环节解析，强调结合场景调优以提升召回与精确率。