「终端调度」共找到 290 篇相关文章
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现,其中包含量化Kernel。文章关注此Kernel,介绍在B200上实现高性能Memory Bound Kernel的优化技术,如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
阿里云秘密武器亮相顶会:狂砍82%英伟达含量,213块GPU干了1192块的活
阿里云与北大合作,由CTO周靖人带队的研究提出GPU池化系统Aegaeon,亮相顶会SOSP。它用token级自动扩缩容技术,将GPU使用量从1192个减到213个,提升了资源利用率,还在百炼平台测试成功。
AGI前夜重磅:RL突破模型「认知上限」,真·学习发生了!
AI研究圈争论RL能否赋予模型超越基础模型的推理能力。UC Berkeley等团队提出DELTA框架,观察到“RL grokking”现象,还设计新任务验证,提出两阶段奖励调度,总结两种模式等,为争论带来新依据。
Claude Skills,4000字详解 Anthropic 的思考
Anthropic推出新技能Claude Skills,作者认为它会引导第三方工具形态。Skills结合笔记式形态、可执行工具与AI调度自优化,具备低门槛、灵活表达等优势,还实现了AI自我进化,是一种新范式。
AI 的下一个战场:端侧模型崛起
大模型退烧,小模型接棒。腾讯、阿里等大厂纷纷官宣小模型成果,英伟达、OpenAI 等也有相关动作。端侧模型赛道广阔,但技术含量不低,面壁智能在端侧模型探索上成果丰硕,其 MiniCPM 系列不断迭代,还在多领域落地。
图解Vllm V1系列7:使用AsyncLLM做异步推理
文章因异步RL讨论热,探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理,分析单条请求处理流程及阶段,说明并发提升效率的方法,还提及多请求并发及构建异步推理引擎思路。
大模型下半场,阶跃凭什么领跑多模态之战
国内大模型竞争分资源派、技术派、国家队三阵营,多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型,16款为多模态。其坚持理解生成一体化路线,在多模态领域有优势,还布局多应用场景。
专访|两位华人主导创办,Jeff Dean参投,伯克利开源项目SkyPilot转型初创
前沿模型团队算力瓶颈从不足变为分散,开源AI算力调度项目SkyPilot应运而生。7月末,它从高校走出成为初创公司,完成2000万美元种子轮融资。其免费版与商业版各有侧重,切入AI编排赛道潜力大。
7.3K Star!用 Orca 组建 AI 舰队:让 Claude Code 和 Codex 同时开工!
Claude Code 大火后,多家大厂推出自家 Code CLI,多终端操作上下文切换成本高。Orca 是开源 AI 编排器,可让多个 AI 编程助手并行工作,集中查看结果,有并行工作区、统一管理界面等亮点。
别盯着GPU了,CPU正成为AI时代的“新瓶颈”
进入2026年,AI系统性能越来越取决于执行与调度能力,CPU正成为AI时代的“新瓶颈”。目前CPU市场供应紧张,英特尔、AMD、英伟达等大厂应对策略各有不同,智能体时代算力天平正回摆。