搜索：大模型Agentic推理框架

「大模型Agentic推理框架」共找到 9595 篇相关文章

大模型推理加速全链路：内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

文章指出大模型负责理解、推理和生成，而Agent需获取外部数据等。向量存储可将数据转化为语义向量，在Agent执行任务时找回相关内容。文章探讨向量存储技术方向，分享做法，还演示阿里云两种Serverless向量存储用法。

多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。

北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。

2024年以来，大模型在推理任务上进展显著，得益于RLVR方法，但面临“熵困境”。研究团队提出选择性熵正则化方法（SIREN），通过三重机制精准调控探索行为，实验证明其能提升模型推理成绩。

复旦大学等机构团队论文提出SIM - CoT技术，解决隐式思维链推理准确率低、不稳定问题。该技术引入步骤级监督，提升性能、效率和可解释性，在多模型和任务测试中表现出色，让大模型高效沉默推理。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

MiroThinker v1.5开源，其30B小模型在Agent benchmark上击败万亿参数的Kimi K2T。它以交互深度为新Scaling维度，训练有严格时间管控，实测表现超Search Agent，“小模型+强交互”或成新方向。

在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。

北大联合南科大团队提出全新 3D 位置嵌入方法 QuatRoPE，改善大语言模型 3D 空间推理痛点。还提出 IGRE 降低干扰，构建 ASR 基准评估能力。研究被 CVPR 2026 接收，代码与模型已开源。