「推理缓存优化」共找到 3038 篇相关文章
视频模型假装在推理？MME-CoF新基准评估12个推理维度
视频生成模型如Veo - 3能生成逼真视频，但推理能力存疑。香港中文大学等校研究者设计12项测试，发现模型只能模仿表面模式，未真正理解因果。研究推出MME - CoF基准，为评估指明方向。
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
ICML 2026｜告别「单线程」思维，智能体进化出了原生的并行推理大脑
北京通用人工智能研究院语言交互实验室提出原生并行推理器NPR，它有「自蒸馏 + 并行强化学习」三阶段训练范式，配套并行推理引擎，让并行推理成模型原生认知能力，还介绍了其具体实现、实验结论等。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
国产 AI 昇腾推理不再高门槛？开源技术栈推理性能对比解析
文章聚焦昇腾 NPU 大模型推理，对比 MindIE 和 vLLM Ascend 推理性能。因 MindIE 使用门槛高，昇腾联合 vLLM 社区推出插件。实验用 GPUStack 平台，结果显示二者在不同场景各有优势，呼吁构建国产 AI 基础设施体系。
DeepSeek 为什么把缓存涨了 11 倍？长上下文需求暴涨，得交点「存储税」了
8月17日，DeepSeek V4 Pro API输入和输出价格上涨，空闲时段缓存命中价涨5倍，高峰时涨11倍。此前其因高缓存命中率成性价比之选，但长上下文需求爆发致后端“缓存颠簸”，只能通过涨价收“存储税”。开发者可提高缓存命中率应对。
AST | 西交大刘子扬、陈刚等：直接嵌入流场特征的智能化气动外形优化经验学习框架
传统气动外形优化方法有局限，本文提出智能化优化经验学习框架，结合DNN流场预测模型与DRL优化方法，还提出自适应网格再生成技术与Sigmoid奖赏函数，经验证效果良好，为气动优化提供新路径。
破解大模型「无效并行推理」：Parallel-Probe问世，并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe，通过 2D Probing 刻画并行推理动态，发现问题后提出控制算法，能降推理延迟 35.8%、总 token 成本 25.8%，还推出 SCOUT 测试床，代码和平台已开源。
告别Reasoning模型的“灵光一现”，推理能力可控了
当前GPT - 4o、DeepSeek - R1等大模型推理的‘高级操作’随机触发，不可控。研究者受经典推理三要素启发，教会模型三种‘元能力’，经三阶段训练，模型效果提升，让推理能力可控。