「MoE Group GEMM」共找到 170 篇相关文章
6.1B激活，三榜开源第一！蚂蚁·安诊儿医疗大模型发布
由浙江省卫生健康信息中心等联合研发的开源医疗语言模型AntAngelMed发布。它基于Ling - flash - 2.0，100B总参数仅激活6.1B达约40B密集模型性能，在多个权威医疗基准测评中居前列，采用三阶段训练流程，高效MoE架构。
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
使用 Hugging Face 轻松构建并共享 ROCm 内核
自定义内核是高性能深度学习基础，但构建整合麻烦。Hugging Face的kernel - builder和kernels库可助轻松构建、分享自定义内核。本文聚焦构建ROCm兼容内核，展示构建、测试与分享步骤。
刚刚，DeepSeek 突发梁文峰署名新论文：V4 新架构提前曝光？
今天凌晨，DeepSeek在其GitHub官方仓库开源了新论文与模块Engram。该论文提出“查—算分离”机制，通过引入可扩展的查找记忆结构，在等参数、等算力条件下提升模型表现，代码与论文全文均已开源。
基于Agent的SGLang Diffusion Kernel优化实践：Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程，包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构，分析数值敏感原因，展示各模型优化实践、无收益实验及验证流程。
ICML 2026｜表格异常检测能否告别「one-for-one」？OFA-TAD迈向one-for-all通用异常检测新范式
表格异常检测在多领域作用关键，但当前 one-for-one 范式成本高、泛化弱。Griffith 和同济团队提出 OFA-TAD，推进到 one-for-all 范式，在多源数据集训练一次即可迁移，实验表现优异。
有人只用API就猜出了GPT、Claude、Gemini的参数量？社区吵翻了
研究人员李博杰在arXiv发布论文，提出“不可压缩知识探针”评测框架，仅通过黑盒API调用逆向估算LLM参数规模，给出GPT-5.5等模型参数量估算，引发社区广泛讨论与争议。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
刚刚，DeepSeek 突发梁文锋署名新论文：V4 新架构提前曝光？
今天凌晨，DeepSeek在GitHub开源新论文与模块Engram，论文提出“查—算分离”机制，通过可扩展查找记忆结构提升模型表现。Engram将记忆与计算职责分离，或成V4核心技术，获网友肯定。