「GPU调度」共找到 539 篇相关文章
【博客转载】CUDA Reduction
文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
刚刚，SpaceX、英伟达宣布：AI数据中心要上天了
SpaceX与英伟达合作设计Starmind AI1卫星计算载荷，每颗卫星搭载NVIDIA GPU和CPU，将数据中心算力部署太空，该设计也用于地面数据中心。但项目投入大，还面临管理集群等难题。
“小龙虾”太多了，CPU告急
当地时间4月9日，谷歌与英特尔宣布扩大多年期合作，部署至强处理器并联合研发IPU。当前AI基础设施瓶颈从GPU向CPU迁移，CPU需求激增但供应紧张，引发产业链连锁反应，其价值重估受多因素影响。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
Qwen3-ASR的MLX原生实现：让SOTA语音识别跑满苹果芯片
Qwen3 - ASR是强大开源语音识别模型，但官方实现无法充分利用苹果芯片GPU能力。开发者完成MLX重写，让其能在苹果芯片上原生运行，实测性能佳，还有诸多核心功能及安装使用示例。
这个春节，AI 不聊天了，开始替我买单
马年春节，腾讯、百度、字节跳动等大厂打响「AI 春节大战」。阿里旗下千问 APP 投入 30 亿启动「春节请客计划」，活动首日成绩显赫，还展示了跨应用调度等能力，探索出独特的「超级 Agent」路线。
从组件到 OS 的跃迁，MemOS 深度拆解：构建企业级 Agent 的高性能记忆底座【上】
本文深入剖析开源记忆方案MemOS，它将记忆从“外挂组件”升为“系统资源”。介绍其设计理念、核心架构，分析记忆需加工、分层调度和治理的原因，还阐述记忆三态及流转，最后展示MemOS Cloud的使用方法。