「中间结果」共找到 554 篇相关文章
算法论文7
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
GiantPandaLLM
推荐文章8
从预测到干预，Aether AI为什么押注因果世界模型？
Aether AI 定义技术路线为「因果世界模型」，关注模型识别影响结果的变量、理解因果结构、模拟干预后果。它从预测未来的局限切入，介绍了因果能力的三类核心问题及研究成果，还用四层架构实现能力落地。创始人黄碧薇看好当下时机，从 Physical AI 切入创业。
机器之心
开源动态8
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
GiantPandaLLM
6
分享一个谷歌和百度都优化得不错的网站
一个域名注册于2008年的网站，2020年5月才真正启动，却在谷歌和百度的优化上做得风生水起。它的流量主要来自搜索引擎，谷歌收录484万条，百度收录193万条。这个网站通过子域名提升权重，并巧妙地使用分类而非重复关键词来优化内容，使其在搜索结果中排名靠前。
我是哥飞