搜索：推理缓存优化

「推理缓存优化」共找到 3047 篇相关文章

今夜无显卡！老黄引爆Rubin时代，6颗芯狂飙5倍算力

CES 2026上，英伟达黄仁勋发布Vera Rubin超算架构，推理性能比Blackwell提升5倍，训练性能提升3.5倍，成本降10倍，已投产，下半年商用。还展示自动驾驶模型等，且无新显卡发布。

昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。

美团基础研发平台工程效率负责人程大同在访谈中解答了美团 AI Coding Agent 产品 NoCode 的相关问题，包括模型性能优化、产品定位、用户画像、使用边界等，还谈及与 CatPaw 的关系及未来规划。

高考报志愿难题一直存在，天价咨询服务并非人人能享。夸克推出国内首个高考志愿大模型，免费生成志愿报告。它能理解复杂规则、把握考生需求，经多阶段训练优化，还搭载高考知识库，产品体验简便。

传统视频编辑工作流被AI重塑，但现有AI方法存在问题，多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector，开销低、支持广且能100%保持背景，还采用新策略优化。

奥特曼在最新访谈展望下一代模型，认为完美AI是有超人推理能力等的微型模型。理想AGI能自主发现新科学，使全球科学发现提速。他还回应算力假设，为企业指明投入资源方向。

谷歌 I/O 大会前，Gemini 2.5 Pro 预览版升级，重点在编码。它搞前端、做 UI 出色，能将视频变互动学习 App，推理速度提升。对标 GPT - 4.1 等，性价比高、表现优，获开发者好评。

Anthropic 最新研究发现 LLM 有可被语言化报告的全局工作空间（J - space），用 Jacobian Lens 技术能读出模型思考概念、干预推理，还可暴露其未说出口的意图，为 AI 安全审计提供新途径。

前OpenAI联合创始人Andrej Karpathy警示业界重视模型框架。Hugging Face实验表明优化模型外层执行机制可大幅提升Agent性能，Karpathy开源项目揭示AI价值在循环迭代。还介绍了搭建持续进化Agent的方法及注意事项。

深夜谷歌推出Gemini 3.8，六周内第三款Flash系列模型。含通用的Gemini 3.8 Flash和网络安全专用的Gemini 3.8 Flash Cyber，提升推理、代码能力，在多场景表现出色。已面向不同群体开放。