「并行化编排」共找到 1089 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
开源2天狂揽3.3K Star！超火的隐形AI桌面助手，实时捕捉屏幕与音频，生成结构化知识！
GitHub爆火的隐形AI桌面助手Glass，开源2天Star超3.3K。它由Pickle团队开发，能捕捉屏幕和音频活动，转化为结构化信息。适合会议记录等场景，有屏幕活动捕捉等核心能力，提供不同系统安装方式。
还在复制粘贴提示词？Memory+Checkpointing 让你从"每次重头来"到"迭代越来越快"
文章介绍了Claude Code最佳实践地图，它将零散手动探索工程化，把关键模块整理成可导航路线图。核心功能包括三段编排、Subagents、Memory + Checkpointing，还给出不同场景方案及使用方法。
模型都一样了，AI Agent 真正的差距在 Harness 层！
如今各平台接入模型趋同，AI Agent 差距体现在 Harness 层。以天工超级智能体为例，其有约束先行、任务并行编排等亮点，还提供 Skill 粒度新思路，且云端运行降低使用门槛。
【博客转载】CUDA Kernel Execution Overlap
文章讨论CUDA kernel执行重叠，指出有足够计算资源时可重叠，通过调整`blocks_per_grid`值，观察到不同并行化程度。还提到隐式同步会影响重叠，可启用`per-thread` default Stream 禁用。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
AI Agent 的工程化被低估了
文章指出 AI 发展中工程化作用被低估，将其分为产品工程和技术工程拆解构建 AI Agent 体系。产品工程涵盖需求建模、UI/UX 设计等模块；技术工程涉及架构模块化、流量控制等方面，还提及 Spring AI Alibaba 等工具。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
阿里云 Tair 基于 3FS 工程化落地 KVCache：企业级部署、高可用运维与性能调优实践
本文介绍阿里云 Tair KVCache 团队与服务器研发存储软硬件结合团队对 3FS 的工程化升级实践。从性能、产品、运维维度优化，为高性能 KVCache 在企业级 AI 场景落地提供范式，还提及未来 3FS 产品化及服务器硬件升级方向。