「Flash - MoE」共找到 269 篇相关文章
无需CUDA代码给H100加速33%-50%，Flash Attention作者新作火了
Flash Attention、Mamba作者之一Tri Dao与普林斯顿博士生提出QuACK库，用Python写，无需CUDA C++。在H100上比优化库快33%-50%，吸引英伟达、PyTorch团队关注。还给出优化torch.compile建议。
蚂蚁百灵新一代Ling-3.0开源，智效比13.2，124B释放1T能力
蚂蚁百灵新一代模型Ling-3.0开源，有flash和tiny两版本。Ling-3.0-flash参数量124B，智效比13.2，输出快成本低；Ling-3.0-tiny参数量7.9B，激活少且适用多场景，二者都极致挖掘模型效率。
突发！Gemini 3.8登顶，谷歌迈出RSI一大步
谷歌发布Gemini 3.8 Flash及专攻网络安全的3.8 Flash Cyber。前者性价比高，在多项测试逼近顶级模型；后者在网络安全测试屠榜。但谷歌也被指提前庆祝，且模型可能有‘刷榜’成分。
训练时间减半，性能不降反升！腾讯混元开源图像生成高效强化方案MixGRPO
混元基础模型团队提出全新框架MixGRPO，结合SDE和ODE，简化MDP优化流程，提升效率与性能。还推出更快变体MixGRPO - Flash。MixGRPO训练时间降近50%，MixGRPO - Flash再降71%，效果和效率优于DanceGRPO。
DeepSeek睁开眼了！Opus-4.8的性能，1000张图不到20美分
DeepSeek首个多模态视觉模型deepseek-v4-flash-vision-exp上线DeepSeek API平台。文本能力与V4-Flash持平，多模态Agent能力逼近Opus-4.8，分析1000张图成本不到20美分，还上线免费Files API。
“美国大豆包”Gemini翻身：输出速度碾压同行、智能水平重回第一梯队
过去 Gemini 被吐槽，如今 Google 推出 Gemini 3.8 Flash，六周内第三款 Flash、四个月内第四次更新。新模型成绩佳，输出快，成本低，智能体评测进步大，从经济型选项成生产主力，但实际表现待检验。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
阿里开源Qwen3-Coder-Next，80B参数仅激活3B的MoE顶尖编程助手
阿里开源小型MoE代码模型Qwen3 - Coder - Next，总参数量800亿但仅激活30亿参数，在代码生成等任务表现出色。团队构建训练技术栈解决数据匮乏，模型训练分阶段，多领域专家模型能力整合，基准测试性能强劲。
MoE不够看了，腾讯推出MoT：2B具身模型22项评测16项最佳
腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。
从 AI Agent、RLHF 到 MoE 大规模训练：AMD 这场开发者日，把一线实战话题凑齐了 ｜Q推荐
AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题，覆盖AI Agent、RLHF、MoE大规模训练等前沿领域，还有多场实操分享。