搜索：混合推理架构

「混合推理架构」共找到 3631 篇相关文章

上海交大DENG Lab提出「LatentUM」：Unified Model的真正「战场」在视觉推理与世界模型

上海交通大学 DENG Lab 提出的 LatentUM，尝试让统一模型把生成的视觉内容纳入推理闭环。它在多项任务上超越基线，其核心思路是生成与语言共享语义空间的离散 visual semantic tokens，模型含三大关键设计。

MIT CSAIL团队提出递归语言模型RLM，不改动模型架构，让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”，实验显示其处理规模超前沿模型，复杂任务优势显著，多数场景性价比高。

STReasoner是首个结合时间序列、空间结构和自然语言的推理模型，能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准，采用三阶段训练策略，模型在多任务表现优，成本低且泛化能力强。

字节开源Deer - Flow2超级智能体管理框架，登上GitHub Trending榜首，获35.3k Star。它采用模块化多智能体架构，主打开箱即用，扩展性强，适配多种IM渠道，还介绍了核心能力、部署方式等。

商汤开源日日新 SenseNova U1 系列原生理解生成统一模型，采用 NEO-unify 架构，只需 8B 小参数就能实现很多商业闭源模型效果。在多测评维度性能领先，还能实现连续性图文创作输出，解决理解与生成断层问题。

强化学习是当今LLM重要技术，Unsloth团队发布教程，从吃豆人谈起，介绍RLHF、PPO到GRPO，分享用GRPO训练推理模型技巧，涵盖相关概念、训练方法及奖励函数设计等内容。

2025年12月17日，腾讯宣布两项重大举措，一是重组AI组织架构，成立新部门并任命首席AI科学家；二是发布混元世界模型1.5，能实时生成可交互3D虚拟世界，应用场景广泛，或引领行业进入‘AI原生’新阶段。

本文关注vllm V1中管控模型分布式推理的Executor部分，介绍其类型、Executor-Workers架构及数据传输机制，对比V0架构优势，以单机多卡的MultiprocExecutor为例展开讲解，还提及不同数据量的传输方式及相关代码。

OpenAI昨夜官宣上线最强推理模型o3 - pro，还将o3价格暴降80%。o3 - pro专为深度思考和提供超可靠答案而生，在多项测试中表现优异，虽有速度慢等限制，但优势明显，网友实测效果惊艳。

彩云科技与北邮联合提出多路动态稠密连接（MUDD）替代残差连接，提升Transformer跨层信息传递效率。实验显示，采用该架构的模型性能显著提升，论文等均已公开。