搜索：异构资源调度

「异构资源调度」共找到 570 篇相关文章

AI Infra 工程师们如何应对大模型流水线里的“暗涌”？

InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。

近日，MLSys 2025公布最佳论文奖，FlashInfer等入选。FlashInfer由多机构合作发起，是灵活的LLM推理内核库，优化内存访问、有可定制模板和调度机制，性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。

文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。

Harness设计中沙箱是重点难点，传统方案在安全与性能间妥协。腾讯开源Cube Sandbox，用RustVMM重构虚拟化层，冷启动60毫秒，单实例5MB内存开销，有真内核隔离等优势，开源版本含网络隔离组件。

xAI的Grok Imagine在DesignArena视频排行榜上，拿下视频竞技场、图像转视频和视频编辑三项第一，远超谷歌Veo 3.1、Sora等对手。它进步迅猛，靠聪明设计取胜，还将推动AI从“蛮力计算”向“智能理解”转变。

阿里发布全开源项目通义DeepResearch，在研究任务评测中表现出色，底层是30B的MoE专用推理模型，资源需求低。文章演示了基于该项目构建本地化端到端DeepResearch助理的方法，包括模型部署、Agent实现等。

OpenAI在gpt - oss开源模型采用MXFP4数据类型，使推理成本降75%，内存占用为BF16模型四分之一，生成token速度提4倍，还能降低硬件资源需求。不过MXFP4也有缺陷，英伟达推出NVFP4提升质量。

国内大模型竞争分资源派、技术派、国家队三阵营，多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型，16款为多模态。其坚持理解生成一体化路线，在多模态领域有优势，还布局多应用场景。

浙江大学联合多家机构推出开源基础设施SkillNet，拥有超20万个高质量Skills。它能让AI智能体告别失忆式工作，将互联网资源和人类经验转化为可执行Skills，构建Skills网络，经严苛评测，在真实场景验证了强大实战能力。

可灵AI正式全球上线3.0系列模型，覆盖影视级全流程链路。该系列基于All-in-One理念构建，解决了行业一致性等问题，在多方面做了增强，完成从单点生成到专业调度的跃迁，让AI成创作协作者。