「双并行注意力UNet++」共找到 437 篇相关文章
SGLang Team：在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek
本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性，SGLang 实现高吞吐量，成本低。博客探讨并行设计、优化方法，所有组件开源，也指出了当前局限与未来方向。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。
离谱！现在的Agent都卷成100个成团了？3分钟并行干完5个复杂任务，还能随时改需求
百度文库、百度网盘联合发布全球首个全端通用Agent——GenFlow2.0，能让100+AI专家Agent天团并行工作，3分钟交付5、6个复杂任务，还能随时改需求。它依托权威资料，可控性强，多任务并行，已上线百度文库Web端/APP。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
Container Use：一种用于独立的并行编码代理的新工具
Dagger团队发布开源工具Container Use，为AI编码代理提供容器化沙箱和Git工作树，实现无冲突并行工作流。它能创建隔离开发环境，让开发者在同一代码库安全运行多代理。不过该工具尚处早期，有不足。此外还介绍了其他类似工具。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。
2.1K星CCPM：多Agent任务，流水线一样并行Coding
CCPM基于GitHub Issues + Git worktrees，有严格五阶段流程。多agent负责同一issue不同子任务，实现任务级并行，最高提升3倍交付速度，75%降低Bug率，还能避免上下文丢失等问题，有详细工作流程和命令。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
北大团队改造DeepSeek注意力，速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。