「GPU调度」共找到 553 篇相关文章

新闻资讯7

预计募资80亿,摩尔线程发行价定了

11月20日摩尔线程公告,协商确定发行价为114.28元/股,预计募资79.996亿。该公司由有GPU行业近二十年经验的张建中创立,构建智算产品线,其夸娥万卡智算方案特性突出。

芯师爷
算法论文8

用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型,扩散语言模型的推理性能和效率大幅提升

扩散大语言模型发展迅猛,或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文,提出高效解码策略与强化学习训练组合,解决MDLM解码和训练问题,提升推理性能与效率。

机器之心
算法论文8

让AI生成视频「又长又快」:Rolling Forcing实现分钟级实时生成

南洋理工大学与腾讯ARC实验室联合研究,由博士生刘坤昊等完成,提出Rolling Forcing方法,通过滚动窗口联合降噪等创新设计,突破实时长视频生成瓶颈,实现分钟级实时生成,还支持交互控制,但仍有优化方向。

机器之心
推荐文章8

NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记

本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。

GiantPandaLLM
开源动态8

大模型能否为不同硬件平台生成高性能内核?南大、浙大提出跨平台内核生成评测框架MultiKernelBench

深度学习计算依赖底层内核,当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench,打破现有评测基准局限,构建模块化评测体系,多模型实测,还指出LLM短板并明确未来方向。

机器之心
推荐文章7

简单了解下CUDA Green Context

文章基于Flashinfer实现介绍CUDA Green Context,它在CUDA 12.0+引入,能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例,不过测试性能未达预期,需关注后续发展。

GiantPandaLLM
新闻资讯8

SGLang 推理引擎的技术要点与部署实践|AICon 北京站前瞻

SGLang 是开源推理引擎,截至 2025 年 6 月,GitHub 近 15K Stars,月均下载量超 10 万次,被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升,他分享关键技术等内容,6 月 27 - 28 日他将在 AICon 演讲。

InfoQ
算法论文9

假如有一万张卡,RL训练该怎么扩大规模?十万张呢?

本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。

机器之心
开源动态8

模型一个没换,正确率翻了近三倍,这个项目有点东西啊!

GitHub开源项目AutoResearch用同一模型答题,其EvoMap蜂群模式使正确率近三倍于单Agent和常见Sub - Agent模式。它是多Agent评审系统,靠蜂群机制让AI自动科研,还有诸多防幻觉等特点,能用于多场景优化。

开源先锋
算法论文8

Agentic RL 后训练资源怎么分?港中文、恒生大学提出 Libra,吞吐最高提升 3 倍

大语言模型走向“完成任务”,Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统,统一优化训练与 rollout,在多任务中提升吞吐,论文与代码已公开。

机器之心