「性能问题」共找到 4751 篇相关文章
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
Cloudflare 如何解决了 quiche 中的一个拥塞漏洞
Cloudflare 分享发现 CUBIC 的 Rust 实现问题，该问题影响开源库 quiche。团队构建模拟环境测试，发现 CUBIC 陷入恢复循环，用 Reno 测试排除广泛问题，最终一行代码修复，使测试通过率达 100%。
关于Pingpong和Cooperative的一些感性理解
作者团队在SGLang支持Hopper架构相关GEMM，经分析发现多数场景Pingpong调度策略性能优于Cooperative，K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。
什么时候不该微调：比“怎么微调”更重要的一件事
文章指出微调失败常因一开始就不该调。强调微调解决行为问题而非能力问题，还列举了不该微调的五种场景，如知识接入问题、Prompt没写好等，建议先验证思路，明确目标再行动。
Anthropic智能体大会：Agent也会精神分裂，我们发现了多Agent协作的本质解法。
Anthropic开发者大会聚焦Agent，分享多智能体实战经验。Omni的Blobby出现‘精神分裂’问题，根源是内外层Agent能力认知断裂，修复方案是将工具上提。Anthropic团队则通过协商签订协议解决角色定义不一致问题。
腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%！
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。
Anthropic：这样构建Agent，性能提升90%！
Anthropic分享从0到1构建多智能体DeepResearch系统的方法，该系统是Claude内置Research功能。干货多，涵盖架构设计、Prompt工程等。多智能体性能比单模型高90.2%，但烧钱，适合高价值复杂任务。
阿里最新开源王炸Agent！性能全面SOTA！
阿里WebAgent更新频繁，基本一月一版。它是类似DeepResearch的通用智能体，历经WebWalker到WebWatcher多阶段演进，各阶段解决不同问题，如网页导航、自主信息搜集等，还不断优化训练数据生成与处理方式。
推理时扰动高熵词，增强LLM性能
香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。