「分布式并行」共找到 299 篇相关文章
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
Cursor 2.0 来了！自研模型 Composer1，更禅的界面，多代理并行，Browser调试更强大
Cursor 2.0 发布，有诸多升级。它有自研编码模型 Composer1，速度快且适合 Agent 模式；界面更清爽禅意；支持多代理并行，能提升编码效率；浏览器可嵌入编辑器，沙盒终端在 macOS 正式发布等。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
入选 SOSP'25：百度智能云对象存储的分布式层级 Namespace 破解业界难题，彻底扫清 AI 时代大数据上云障碍
百度沧海・存储团队与高校合作的论文被 SOSP'25 录用，介绍了百度智能云对象存储 BOS 的分布式层级 Namespace 系统 Mantle。它攻克业界难题，融合文件和对象存储优势，性能卓越，已在 BOS 生产环境大规模上线超两年。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’，介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节，分享其解决 AI 训练存储难题的方案。
ICCV 2025 | EPD-Solver:西湖大学发布并行加速扩散采样算法
扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
AICon上海演讲精华回顾：《GMI Cloud 全球化高性能分布式推理服务构建实践》
AICon2025上海站，GMI Cloud资深架构师Frank Lee分享《GMI Cloud全球化高性能分布式推理服务构建实践》，介绍其推理平台，拆解扩缩容等能力，分享架构设计、部署及优化实践，揭秘推理提效关键路径。
7.3K Star！用 Orca 组建 AI 舰队：让 Claude Code 和 Codex 同时开工！
Claude Code 大火后，多家大厂推出自家 Code CLI，多终端操作上下文切换成本高。Orca 是开源 AI 编排器，可让多个 AI 编程助手并行工作，集中查看结果，有并行工作区、统一管理界面等亮点。