「LLaDA MoE v2」共找到 661 篇相关文章
Transformers v5 中的分词系统：更简洁、更清晰、更模块化
文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。
神秘爆款模型被小米认领！雷军直言超过马斯克 xAI Grok，罗福莉透露MiMo-V2-Pro将开源
小米发布 MiMo-V2 家族三款新模型，确认 Hunter Alpha 是 MiMo-V2-Pro 早期版本。雷军称其超马斯克 Grok，罗福莉透露模型稳定后将开源。MiMo-V2-Pro 适用于 Agent 场景，Omni 关注全模态交互，TTS 面向语音生成。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
五年，终于等来Transformers v5
Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。
DeepSeek悄悄更新：Mega MoE、FP4 Indexer来了
昨天下午，DeepSeek 更新了 DeepGEMM 代码库，带来新东西 Mega MoE。它将 MoE 计算流程整合，让数据通信和计算同时发生，提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等，是基础设施层重构尝试。
DeepSeek V3.1 Base突袭上线！击败Claude 4编程爆表，全网在蹲R2和V4
昨晚，DeepSeek官方悄然上线全新V3.1版本，上下文长度拓展到128k，参数685B，支持多种精度格式。其编程能力突出，在Aider测试中霸榜，性能超越Claude Opus 4，还有成本低等优势。
LeapEMU生态计划启动：共筑RISC-V软件新生态
9月19日，“RISC-V软件生态研讨会”在珠海举办，会上发布全球首款支持超128核RISC-V RVA23企业级模拟平台LeapEMU及其生态建设计划，提出“两个目标、一个循环”理念，规划三阶段建设路径。
DeepSeek悄悄开源LPLB：用线性规划解决MoE负载不均
昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。