「Attention性能瓶颈」共找到 2425 篇相关文章
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’，介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节，分享其解决 AI 训练存储难题的方案。
开发速度不是瓶颈
文章围绕‘凭感觉编程’展开，指出开发速度并非产品成功的关键制约因素。分析原型与产品差异，以亚马逊、谷歌为例说明产品需不断尝试。强调真正瓶颈是验证和沟通，编码速度从来不是问题。
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
吴恩达来信：如何突破产品管理瓶颈
吴恩达指出编程助手带来“产品管理瓶颈”，即决定构建什么成难题。具备用户同理心的产品经理很关键，可凭直觉决策。还介绍通过多种策略获取用户反馈，强调用数据构建用户心理模型做决策。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
Meta 开源 Pyrefly，Rust 中的高性能 Python 类型检查器
Meta 开源处于 alpha 阶段的 Pyrefly，它是用 Rust 编写的高性能 Python 类型检查器，灵感源于 Pyre 等工具，旨在取代 Instagram 代码库的 Pyre。它性能出色，还计划今年夏天进 beta 阶段。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。