「超稀疏 MoE」共找到 2291 篇相关文章
Nature Computational Science | 香港城市大学韦业等：复杂系统深度主动优化
本文通过集成深度神经网络和树探索能力，提出神经网络代理模型引导树探索的主动优化方法。该方法在超2000维数值优化问题中找到全局最优，在多领域表现优于现有方法，为小样本、高维优化难题提供通用技术。
极简RL新范式：一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。
英伟达成开源新王？Nemotron 3全新混合专家架构，推理效率升4倍
北京时间今天凌晨，英伟达发布 Nemotron 3 系列开放模型，含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face，采用混合 MoE 架构，推理效率提升显著。该系列还具备多种核心技术和实用能力，相关工具和数据集也已开源。
焦虑的贝索斯，决定先裁30000人
亚马逊启动史上最大裁员，先裁14000人，明年或再裁。表面因疫情后人员冗余，实则源于AI军备竞赛压力，AWS优势缩小。公司还计划用机器人替代超50万员工，中层和初级岗位受冲击大，H - 1B员工处境艰难。
1万亿参数Ling-1T开源，国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型，总参数量达1万亿。预训练数据超20万亿token，支持128K上下文长度。在多项任务中表现出色，是目前已知最大的FP8训练基座模型，已完成全面评测。
更大，还能更快，更准！蚂蚁开源万亿参数语言模型Ling-1T，刷新多项SOTA
10月9日，蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构，在编程、数学推理等多维度测试表现亮眼，还能兼顾精确与效率。此外，它在多场景实用性强，其创新设计提升了能效比与性能。
18岁天才少年，登上Nature封面！
DeepSeek-R1荣登Nature封面，成史上首个经严格同行评议大模型。18岁天才少年涂津豪以实习生身份参与，其从高中生到Nature作者的经历堪称传奇。他还改造Claude 3.5，开源项目获15k多星，还对AGI发表思考。
本周推荐的5个超级6的Github开源项目！
文章推荐了5个超棒的Github开源项目。有轻量全能、自带阅后即焚的pastebin工具microbin；容器与K8s管理利器Podman Desktop；开源投屏神器Escrcpy；强大易用的国产建站工具Halo；跨平台AI笔记神器NoteGen。
VLA爆发！从美国RT-2到中国FiS-VLA，机器人「即知即行」的终极进化
2025年具身智能爆火，VLA模型成核心。从美国RT - 2到中国FiS - VLA，VLA硬核进化。谷歌、微软等有重要成果，中国智平方等企业也不断创新，FiS - VLA性能超现有方法，VLA正重塑机器人与人类交互未来。
腾讯混元推出首款开源混合推理模型：擅长Agent工具调用和长文理解
6月27日，腾讯混元开源首个混合推理MoE模型Hunyuan - A13B，参数80B激活仅13B，推理快性价比高。它在多测试集成绩好，尤其擅长Agent工具调用和长文理解，还开源两数据集填补评估空白。