搜索：高效推理框架

「高效推理框架」共找到 3696 篇相关文章

通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%

文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。

全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。

先进多模态大模型处理高分辨率图像有瓶颈，复旦和南洋理工研究者提出基于视觉Grounding的多轮强化学习方法MGPO，能让模型精准推理，还可使模型从答案反馈中涌现视觉定位能力，避免依赖昂贵标注。

新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。

南洋理工大学团队在ACL 2026发表VChain框架，引入大模型视觉推理能力提升视频逻辑连贯性。它分三步实现，实验效果超现有方法，还展示视频推理与生成的潜在趋势，为多模态模型协作提供范例。

美团等机构研究团队针对LRM“过度思考”问题，提出可验证的过程奖励机制（VSRM）。它结合可验证奖励与步骤级奖励，为推理步骤分配奖励信号。实验显示其能降低输出长度并保持性能。

本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。

微软开源2025年ICML获奖框架CoLLabLLM，可解决大模型多轮对话缺陷。它由四大模块构成，经多轮对话模拟和奖励优化模型。在三大基准平台测试显示，能在多样任务中高效协作。

人大高瓴赵鑫团队围绕RLVR框架做系统实验，完成论文《A3PO: Adaptive Asymmetric Advantage Shaping for Reasoning Models》，提出A3PO方法。该方法将训练重点转向关键决策点，让推理模型学习更可控。