开源动态8
Meta方案加速Llama 4推理
GiantPandaLLM
AI 摘要
Meta提出MetaShuffling方案加速Llama 4 MoE推理。通过避免Padding、激进kernel优化等提升性能,还展示不同并行化设计及性能测试,开源计算kernel,望社区提升服务Llama 4效率。
阅读原文 · GiantPandaLLM
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
DeepMind AI破解56年数学难题登Science
本文报道谷歌DeepMind推出AI数学证明框架AlphaProof Nexus,破解多道悬而未决的数学难题含两道56年埃尔德什开放问题,成果经同行评审登上《Science》,对比OpenAI此前发布方式的争议,介绍其工作流程。
量子位
开源动态9
清华发布OSWorld-Science评测基准
本文针对AI能否自主操作科研软件完成真实科研任务的问题,介绍了清华大学牵头多机构推出的OSWorld-Science,这是面向真实科研场景的智能体评测基准,包含146项真实科研任务,评测了12个主流模型,曝光了当前智能体的能力短板,为领域研究提供了统一评测基础。
机器之心
新闻资讯8
Meta新AI跑分领先 3D实测翻车
本文报道Meta推出新一代旗舰大模型Muse Wonder系列,第三方评测显示其在长程编程、Agent任务中超越现有顶级模型,扎克伯格称Meta重回AI技术前沿,但实测暴露短板,推理成本大幅上涨。
AI前线
新闻资讯8
割草机测试戳破Meta Muse Wonder神话
Meta发布号称目前最好的多步骤Agent模型Muse Wonder,基准数据碾压Claude Opus 5.5,但网友测试和实际使用暴露了它纸面数据强、实际体验差的问题
AI工程化