「批量不变推理」共找到 2135 篇相关文章
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
AEPO：智能体熵平衡策略优化，让探索更稳，推理更深！
中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。
模仿学习新范式！Chain-of-Action：轨迹自回归实现动作推理
具身智能领域尚未迎来「GPT时刻」，现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」（CoA）策略，通过轨迹自回归建模解决累计误差，提升泛化性，实验效果显著。
Transformer可以改装成Mamba了：苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。
老黄入局吃龙虾！英伟达发布最强开源Agent推理模型
英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
AAAI 2026 Oral｜LENS：基于统一强化推理的分割大模型
文本提示图像分割技术有战略意义，但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架，采用强化学习机制，还介绍其架构、奖励机制，该框架在测试中表现优异，代码已开源。
模仿人类推理修正过程，阶跃星辰提出形式化证明新范式 | 开源
阶跃星辰发布并开源形式化定理证明大模型 StepFun-Prover-Preview-7B 和 32B。采用两阶段监督微调、工具集成强化学习及 RL 与 SFT 迭代循环优化等策略，在基准测试集表现佳，还展示多个证明案例。
字节硬核开源ComfyUI批量处理插件，ComfyUI调参效率暴增10倍！
在ComfyUI的AI创作中，手动调参效率低。近期字节跳动开源ComfyUI Lumi Batcher插件，支持全参数交叉调试等，可让调参像Excel一样简单，极大提升ComfyUI工作流效率。
企业级Agent落地有了样板间！百融硅基员工批量上岗，“按结果”领工资
百融智能中报显示，受外部因素影响公司总收入波动，但AICC业务同比增长52%。其已在金融场景打磨能力并向多行业复制，采用RaaS按结果收费模式，还提出“技术重构型AI Roll - up”概念。