搜索：多阶段推理系统

「多阶段推理系统」共找到 4036 篇相关文章

深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍

文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。

著名AI技术博主Sebastian Raschka新书《Reasoning From Scratch》第一章介绍LLM中推理含义、训练阶段、模式匹配与逻辑推理区别，还讲述提升推理能力方法及从头构建推理模型的重要性等内容。

Meta AI研究者尝试把推理模型引入推荐系统再排序阶段。论文通过监督微调等赋予模型推理能力，超LLM4Recsys标杆。中期内化物品语意ID，生成推理路径，推理赋能再排序，披露重排序提升空间。

哈工大提出75页多模态推理大模型综述，围绕四阶段发展路线图展开，即感知驱动的模块化推理、以语言为中心的短推理、以语言为中心的长推理、迈向原生多模态推理模型，还给出挑战性基准测试和实验案例见解。

中国科学院自动化研究所联合美团提出单阶段监督 - 强化微调方法 SRFT，结合监督微调与强化微调，解决传统两阶段方法的不足，在多任务中提升推理和泛化能力。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

当前多模态大模型推理效率低、稳定性不足。本次分享将介绍DMLR，它无需额外训练，仅在推理阶段生效，通过在潜空间优化潜在思考token、引入关键视觉信息，实现高效稳定的多模态推理。

8月25日，OpenAI公布自研推理芯片Jalapeño性能测试结果，首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟，性能超英伟达芯片，B0版已进入制造阶段。

Hybrid Schema - Guided Reasoning（SGR）是革命性AI研究智能体框架，用「两阶段推理 - 执行架构」和「持久化上下文记忆系统」，解决AI助手复杂研究任务的三大痛点，模拟人类研究过程，适用于多场景。

当前RAG系统处理多步逻辑推理任务有局限，蚂蚁集团团队提出DIVER框架解决推理密集型检索难题。它将检索任务分四阶段，在BRIGHT榜单领先，行业对比优势明显，医疗应用效果好。