搜索：推理性能优化

「推理性能优化」共找到 4157 篇相关文章

ETT：打破原生多模态学习视觉瓶颈，重塑视觉tokenizer优化范式

本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。

当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。

本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。

一个域名注册于2008年的网站，2020年5月才真正启动，却在谷歌和百度的优化上做得风生水起。它的流量主要来自搜索引擎，谷歌收录484万条，百度收录193万条。这个网站通过子域名提升权重，并巧妙地使用分类而非重复关键词来优化内容，使其在搜索结果中排名靠前。

尽管LLM能力提升，但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统，不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher，解决上述问题，实验效果良好。

英伟达推出新型小型语言模型Nemotron Nano v2，在复杂推理基准测试上准确率与Qwen3 - 8B相当或更高，速度快6倍。它兼顾推理与非推理任务，支持“思考”预算控制，还开源了创建模型的绝大部分数据。

腾讯与武大联合发表论文提出 CEL 新型 Agent 架构，通过 LLM 驱动两阶段循环实现“思考式学习”。它能填补传统方法短板，在小游戏实验中表现出色，有可解释性等优势，但也有实验环境局限等问题。

5月15日，蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T，权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数，‘按需思考’，在代理执行、推理机制、训练范式三方面升级，评测表现出色。

新一代大型推理模型在复杂推理有进展，核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架，融合在线强化学习与模仿学习，解决了RLVR方法局限，提升模型训练效果，代码数据开源。

大模型参数规模大，推理部署难。华为诺亚提出Pangu Light框架，结合算法创新与国产昇腾平台，通过跨层注意力剪枝等技术，解决剪枝后模型失稳问题，实现高压缩率、推理加速与高精度。