「异步调度」共找到 207 篇相关文章
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
AI如何重塑大厂成熟业务？百度文库GenFlow打了个样
文章讲述百度文库借助AI从“资源下载站”变为“智能生产力平台”。其转型体现在产品定位重构、挖掘用户需求、跨业务协同。GenFlow2.0打通文库与网盘，提升体验、重塑边界，证明非核心业务也能价值重生。
OpenAI发布GPT‑6 Astra：百万级上下文，主攻编程和复杂办公
9月3日，OpenAI发布GPT - 6 Astra，重点提升电脑操作、软件开发和复杂工作处理能力。它有诸多更新，如电脑操作提速、支持异步工具调用等，但也存在监测难、价格高的问题，实际效果待验证。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
这个春节，AI 不聊天了，开始替我买单
马年春节，腾讯、百度、字节跳动等大厂打响「AI 春节大战」。阿里旗下千问 APP 投入 30 亿启动「春节请客计划」，活动首日成绩显赫，还展示了跨应用调度等能力，探索出独特的「超级 Agent」路线。
从组件到 OS 的跃迁，MemOS 深度拆解：构建企业级 Agent 的高性能记忆底座【上】
本文深入剖析开源记忆方案MemOS，它将记忆从“外挂组件”升为“系统资源”。介绍其设计理念、核心架构，分析记忆需加工、分层调度和治理的原因，还阐述记忆三态及流转，最后展示MemOS Cloud的使用方法。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
阿里云秘密武器亮相顶会：狂砍82%英伟达含量，213块GPU干了1192块的活
阿里云与北大合作，由CTO周靖人带队的研究提出GPU池化系统Aegaeon，亮相顶会SOSP。它用token级自动扩缩容技术，将GPU使用量从1192个减到213个，提升了资源利用率，还在百炼平台测试成功。