搜索：推理性能优化

「推理性能优化」共找到 4157 篇相关文章

首篇潜空间推理综述！模型思考不必依赖Token，带宽暴增2700+倍

史上首篇潜空间推理综述全面总结新兴推理范式，分析循环、递归等推理形式并总结成框架。潜空间推理用潜式思维链，带宽比显式CoT提升2700多倍，还介绍无限深度推理实现途径。

香港中文大学（深圳）等高校研究人员提出 CAKE 方法，被 NeurIPS 2025 接收。它利用大语言模型动态设计高斯过程核函数，构建自适应贝叶斯优化框架，在多领域实验中效果优，还具备可解释性。

当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。

文章围绕下一代「推理」模型范式展开，蚂蚁技术研究院武威提出不同观点，认为长思维链推理未必最优，未来推理模型或更低维稳定，还探讨推理定义、重要性及解法猜想，如结合快慢思考等。

上海人工智能实验室等团队设计REST框架，在一个prompt里抛多个问题模拟多任务推理场景。测试发现即便顶级模型如DeepSeek - R1在“高压”下准确率也骤降，该框架能揭示模型差异，为评测提供新范式。

Letta和UC伯克利研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考以提升推理效率，降低推理成本，在多数据集实验中展现优势，在软件工程任务中也有应用。

Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。

Haven团队提出LatentChem，把化学推理从‘文本表面’挪到‘模型内部’，先在隐空间思考，再在语言空间回答。它拆分‘推理’与‘表达’，性能优异，为AI Scientist奠定基础。

西湖大学MAPLE实验室开发的SLOT方法，无需SFT和RL，让模型推理时“临时学习”具体问题。它简单易实现，计算开销小，能使模型准确率大幅提升，还无需额外资源，在各规模模型上效果显著。

近年来大视觉语言模型虽推动多模态智能发展，但推理成本高昂。山东大学和MBZUAI团队提出TransPrune，从演化视角衡量视觉Token重要性，保持性能无损同时降低60%推理成本。