「集群性能优化」共找到 2912 篇相关文章
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
浅析 Amazon S3 Files：工作机制、性能边界与选型思路
4月7日，AWS发布新服务Amazon S3 Files，可将S3存储桶作为高性能共享文件系统挂载到计算节点。本文分析其底层实现、工作机制、性能边界，与其他对象存储文件化方案对比，指出适用场景。
AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒
清华大学等联合研发的 AgentCPM-Explore 智能体模型，基于 4B 参数在深度探索类任务表现出色，有打破参数壁垒等亮点，还全流程开源，解决小模型性能提升挑战，邀伙伴共建端侧智能体生态。
当SFT遇上RL：基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中，SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法，先判断样本学习阶段再匹配优化路径，在多场景实验中表现出色，不过有实验边界。
MySQL复制延迟终结者：AliSQL 高效AI诊断和四大内核级优化
MySQL主从复制延迟损害实例可用性和时效性。AliSQL引入AI诊断定位原因，针对大表DDL、大事务、批量数据处理和小事务高并发四类场景，进行内核级优化，消除复制延迟。
“交互式Scaling”：增加Agent与环境交互的深度和频率来提升性能
在AI发展中，商业研究Agent是“黑箱”，开源研究Agent性能有差距。MiroMind团队推出MiroThinker v1.0，提出“交互扩展”提升性能，在多基准测试表现出色，也指出了当前版本的局限。
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
大型语言模型稳定强化学习的新路径：几何平均策略优化GMPO
本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。