「并行加速」共找到 821 篇相关文章
SGLang Team:在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek
本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性,SGLang 实现高吞吐量,成本低。博客探讨并行设计、优化方法,所有组件开源,也指出了当前局限与未来方向。
离谱!现在的Agent都卷成100个成团了?3分钟并行干完5个复杂任务,还能随时改需求
百度文库、百度网盘联合发布全球首个全端通用Agent——GenFlow2.0,能让100+AI专家Agent天团并行工作,3分钟交付5、6个复杂任务,还能随时改需求。它依托权威资料,可控性强,多任务并行,已上线百度文库Web端/APP。
为训推加速!全新FlashQLA注意力算子库开源
自Qwen3-Next发布,GDN成Qwen主力注意力层,随模型规模扩大开销增大。现开源FlashQLA算子库,融合优化GDN Chunked Prefill前反向算子,在NVIDIA Hopper上多场景加速,提升预训练和端侧推理效率。
OpenAI神秘项目曝光:cderGPT,用AI加速药物评估
OpenAI神秘项目cderGPT曝光,用于加速药物评估。FDA局长指出新药上市耗时长且未实现技术现代化,不过目前该项目细节未透露,有人支持用AI辅助审查,也有人担心其可靠性。
9 个加速开发者生产力的开源 AI 与 MCP 项目
Github官方精选9个开源项目,分框架与平台集成、开发者体验及AI增强编码、自动化与测试编排三大主题。各项目聚焦不同功能,如将MCP嵌入框架、语义理解辅助编码、安全执行调试等,能加速开发者生产力。
FriendliAI获2000万美元,以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资,资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗,能为用户省90%的GPU成本,合作客户广泛。
Container Use:一种用于独立的并行编码代理的新工具
Dagger团队发布开源工具Container Use,为AI编码代理提供容器化沙箱和Git工作树,实现无冲突并行工作流。它能创建隔离开发环境,让开发者在同一代码库安全运行多代理。不过该工具尚处早期,有不足。此外还介绍了其他类似工具。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度,因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel,构建ParaBench基准,多项优化后在测试中击败Bagel。
VLA 推理新范式!一致性模型 CEED-VLA 实现四倍加速!
近年来,VLA模型成机器人领域重要研究方向,但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略,在多基线模型上实现超4倍推理加速,实验验证其高效通用。
2.1K星CCPM:多Agent任务,流水线一样并行Coding
CCPM基于GitHub Issues + Git worktrees,有严格五阶段流程。多agent负责同一issue不同子任务,实现任务级并行,最高提升3倍交付速度,75%降低Bug率,还能避免上下文丢失等问题,有详细工作流程和命令。