搜索：推理性能优化

「推理性能优化」共找到 4171 篇相关文章

老黄入局吃龙虾！英伟达发布最强开源Agent推理模型

英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。

华为研究团队推出仅基于监督微调（SFT）的软件工程代码智能体SWE-Lego，无需复杂RL流程，在SWE-bench Verified基准中表现出色，项目已开源。它有数据、训练和测试时扩展三大创新。

文本提示图像分割技术有战略意义，但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架，采用强化学习机制，还介绍其架构、奖励机制，该框架在测试中表现优异，代码已开源。

大语言模型训练依赖算力和时间，传统模型 Souping 多采用均匀平均。Meta 等研究者提出类专家 Soup（SoCE），利用基准测试类别构成选最优模型，非均匀加权平均，实验显示其提升了模型效果与稳健性，在排行榜获 SOTA 成绩。

本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。

Aerospike正式发布Rust客户端，用于与其实时NoSQL数据库交互。采用异步优先并发模型，支持批命令等。还将支持分区查询等功能，Aerospike也提供其他客户端库助开发者构建应用。

DeepSeek首个多模态视觉模型deepseek-v4-flash-vision-exp上线DeepSeek API平台。文本能力与V4-Flash持平，多模态Agent能力逼近Opus-4.8，分析1000张图成本不到20美分，还上线免费Files API。

快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。

具身智能发展中样本效率成瓶颈，传统无模型强化学习依赖盲目试错。清华与加州伯克利团队提出BOOM框架，通过自举循环机制解决在线规划与策略学习矛盾，实验表现卓越，为具身智能落地提供支撑。

在「大模型+机器人」浪潮中，让机器人既听懂话又走得对、稳很难。北大MobileVLA - R1将链式思考引入四足机器人，在仿真和真实实验中对标强基线实现提升，构建了更具工程可用性的范式。