「异步调度」共找到 207 篇相关文章
图解Vllm V1系列7：使用AsyncLLM做异步推理
文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。
图解Vllm V1系列5：调度器策略（Scheduler）
本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。
Gödel Rescheduler：适用于云原生系统的全局最优重调度框架
本文介绍字节跳动研发的Gödel Rescheduler重调度框架，它能解决传统调度资源分配和任务摆放问题。阐述传统重调度弊端，介绍新方案组件，列举应用场景及成果，还提及未来规划，目前已开源。
如何管理和调度Dify工作流？
文章介绍Dify这一开源大模型应用开发平台，指出其工作流存在无定时调度和监控报警、执行记录过多致性能差等痛点。给出Dify Schedule和XXL - JOB两种集成Dify工作流方案，并分析各自优缺点。
后端架构新范式！阿里云专家亲揭：用RocketMQ彻底搞定多Agent异步协同难题
文章整理自阿里云专家演讲，介绍基于 Apache RocketMQ 新特性构建异步化 Multi - Agent 系统，探讨 Agent 间异步通信等机制，指出 Multi - Agent 协同关键，还讲了 RocketMQ 新特性及如何构建异步系统。
HAMi × NVIDIA：GPU 拓扑感知调度实现详解
HAMi社区在v2.7.0版本推出针对NVIDIA GPU的拓扑感知调度功能，解决多卡通信瓶颈。文章深入剖析其设计与实现原理，介绍核心特性、阶段及代码，用双策略寻优算法保障性能与资源健康。
提速79%！上交大新方法优化企业级AI流程调度 | IEEE ICDCS’ 25
上海交通大学朱怡飞教授团队联合江行智能提出调度框架LLMSched，解决复合LLM应用任务运行时长和结构不确定问题。该框架重构DAG模型，用贝叶斯网络和熵减机制优化调度，实验显示最多降79%平均任务完成时间。
谷歌推出 Jules：一款基于 Gemini 2.5 的异步编程智能体
谷歌将异步智能编程助手 Jules 正式发布，它基于 Gemini 2.5 Pro 模型，可执行多种编程活动。采用异步模式，直接接入代码库。测试阶段开发者反馈多，正式版有三种访问层级，但部分用户对其界面和输出质量不满。
让GPU不再摸鱼！清华蚂蚁联合开源首个全异步RL，一夜击穿14B SOTA
清华与蚂蚁联合开源AReaL - boba²，实现全异步强化学习训练系统，解耦模型生成与训练流程，大幅提升GPU利用率。14B模型在多个代码基准测试达SOTA，性能接近235B模型。
HAMi 2.7.0 重磅发布 | 异构芯片全面拓展，调度更稳、生态更强
Dynamia密瓜智能宣布发布HAMi 2.7.0版，在硬件生态、调度器、应用层生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片；调度器优化了资源计算和可观测性；应用层与vLLM、Xinference等整合。