「大模型推理系统」共找到 9002 篇相关文章
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.27B参数硬刚思维链模型，推理完爆o3-mini-high
新加坡Sapient Intelligence推出小参数AI模型HRM，能解决复杂推理难题。它受大脑启发，提出“隐性推理”路径，准确率碾压先进思维链模型，推理能力超越o3 - mini - high，经济性突出，任务效率可百倍提升。
港科提出新算法革新大模型推理范式：随机策略估值竟成LLM数学推理「神操作」
香港科技大学联合团队提出 ROVER 算法，跳过传统强化学习推理的策略迭代循环。它在多项数学推理基准上超越现有方法，在高难度任务中大幅提高 pass@1 和 pass@256，且提升推理多样性，更轻量。
Tool-Star：赋予大模型结合多工具推理的能力
文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。
大模型如何准确读懂图表？微软亚研院教它“看、动手、推理”
多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft，以高保真图像处理与非线性多智能体推理为支柱，提升结构化图像理解性能，在多基准上有增益。
Qwen3接连放出No Thinking, Thinking两大模型，Gemini2.5 pro顶不住啦
Qwen推出非推理模型`Qwen3 - 235B - A22B - Instruct - 2507`后，又放出推理模型`Qwen3 - 235B - A22B - Thinking - 2507`。非推理模型在多方面功能增强，推理模型能力强，超DeepseekR1，可试用。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
无损加速视觉语言模型推理！轻松剪掉视觉冗余Token｜腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。