「稀疏专家机制」共找到 1402 篇相关文章
刚刚，智谱正式成“全球大模型第一股”，开盘涨超3%！10位董事7个清华背景，专家：国内IPO抢收“确定性”，OpenAI们豪赌“无限性”
今日，智谱在港交所挂牌上市，成“全球大模型第一股”。其有技术、产品、商业化优势，但未盈利，研发投入高。专家认为其上市早，国内厂商上市为求确定，而OpenAI等是扩展无限。
刚刚，1122人干出“国产GPU”第一股，摩尔线程成功IPO：开盘股价疯涨，市值破2800亿！专家：国产AI芯片商业化进入关键期
今日摩尔线程在科创板上市，发行价114.28元，截至发稿股价涨至620元/股，市值破2800亿。它成立于2020年，核心团队多有英伟达背景，研发投入高，已推出四代GPU架构和产品，专家称国产GPU进入商业化验证阶段。
刚刚，智谱正式成“全球大模型第一股”，开盘涨超3%！10位董事7个清华背景，专家：国内IPO抢收“确定性”，OpenAI们豪赌“无限性”
今天，智谱在港交所正式挂牌上市，成“全球大模型第一股”。其有技术、产品、商业化等竞争力，但未盈利，研发投入大。专家认为国内大模型厂商上市是抢收确定性，而OpenAI等是扩展无限性。
入职仅一年，套现5000多万后背刺马斯克搬走 Grok 核心代码库！业内专家：拥有菜谱不等于能做出同样的菜
xAI起诉前员工Xuechen Li窃取商业机密，指控其复制代码库，可能使对手受益。业内专家认为大模型核心竞争力不全在代码，xAI可通过加强管控、研发等修复竞争力，还探讨了数据防泄漏系统问题。
中移动九天团队MultiPL-MoE：全新Hybrid-MoE架构用于增强通用大模型低资源代码能力
大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE，耦合两层专家选择机制优化，实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。
小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
Anthropic顶级Claude模型被逆向开源，这几个模块借鉴了DeepSeek
22岁开发者逆向开源Anthropic的Claude Mythos Preview模型架构，名为OpenMythos。其核心模块借鉴DeepSeek，采用带混合专家路由机制的循环Transformer，有独特设计和稳定机制，重新框定扩展性争论。