开源动态7

vLLM 新特性：批量大小不影响模型输出

AI工程化2025-10-23

AI 摘要

vLLM：推出批量不变推理功能，设置 `VLLM_BATCH_INVARIANT=1` 可让不同批量大小输出一致。技术实现分三部分，虽有性能开销，但解决生产痛点，让调试测试更可靠。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

AI缓存不该困在单台服务器

本文分析大模型推理阶段KV缓存的行业痛点，指出传统单机缓存孤立无法跨节点复用的问题，介绍焱融科技的分层共享缓存方案，公开了方案的实测性能数据，展现AI存储的新发展方向。

OpenAI推出GPT-6 Astra，接连在埃尔德什单位距离猜想、纳维-斯托克斯方程等多个顶级数学难题上取得突破性进展，引发顶尖数学家对学术伦理与传统研究模式的争议，本文为OpenAI内部研究员的深度对谈编译，拆解AI数学推理的核心逻辑。

OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。

OpenAI和博通联合发布自研AI推理芯片Jalapeño，它专为大模型推理设计，每瓦性能优于当前最先进水平，九个月完成设计制造，是全栈战略一部分，2026年底开始吉瓦级部署。