「专家并行性」共找到 1191 篇相关文章
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
TikTok SRE 技术负责人:AI Agents 说到底就是分布式系统
本文整理自TikTok SRE技术负责人Salman Munaf的公开演讲,提出AI Agent具备调用外部服务、执行状态变更能力后,本质就是分布式系统,需运用分布式系统领域成熟经验规避风险、保障安全可靠。
昇腾MindSpeed:分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上,华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化,提升训练效率,还介绍业界加速库及MindSpeed架构,阐述多种优化策略。
OpenAI大变革!继续与微软等,以非营利模式冲击AGI
今天凌晨2点,OpenAI宣布继续由非营利组织控制,营利性实体转变为公共利益公司。此前转型营利性公司引发争议,此次调整是听取各界意见后做出,旨在让AI造福全人类。
构建 Agent Native 软件的完整技术指南
Dan Shipper 和 Claude 联合撰写构建 Agent 原生软件技术指南,总结如何重新思考软件架构,让 Agent 成软件一等公民。指南源于实战,介绍构建原则、方法、执行模式等,还提及产品影响、移动端挑战及应对。
李飞飞最新长文:AI的下一个十年——构建真正具备空间智能的机器
李飞飞发表长文《From Words to Worlds: Spatial Intelligence is AI’s Next Frontier》,解读空间智能,阐述构建具备空间智能机器的核心框架,探讨其应用场景,认为这是AI下一个前沿。
推理速度飙升5倍,苹果提出全新Multi-Token生成框架!
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架,挖掘其对未来词元“先验知识”,通过多项技术并行预测多词元,微调预训练模型可显著提速且不损输出质量。
Next.js 真有那么好用吗?Netlify 谈他们遇到的六个现实问题
Netlify 部署大量 Next.js 网站时遇到诸多挑战。如无适配器支持、无生产级无服务器部署文档、存在未文档化行为、未基于开放 Web 标准、缺乏路线图可见性和发布可预测性等,并提出应对办法与展望。
腾讯混元AI开源3D世界生成模型!文图即可生成3D沉浸式场景!
腾讯混元AI实验室开源HunyuanWorld 1.0,这是业界首个支持沉浸式、探索性和交互性3D世界生成的全开源模型。它能通过文图生成3D场景,为多领域提供支撑,还给出安装和代码使用示例。
合理利用应用商店ASO优化工具,提升APP产品权重和转化率(工具篇)
应用商店优化(ASO)是提升App曝光和下载转化率的关键过程,涉及榜单排名、关键词搜索、转化率及其他展位优化。图标、截图、宣传文本、关键词设置等都是影响用户感知和下载决策的重要因素。