「稀疏混合专家架构」共找到 754 篇相关文章
让大模型学会「自己教自己」！京东&中科院信工所连发三篇论文定义Self-Taught RLVR
京东和中科院信工所开展Self - Taught RLVR系列研究，连发三篇论文。从RLSD、NPO、CoPD三个维度探索让大模型自我指导。如RLSD解决信息泄漏，NPO引入有效学习信号，CoPD整合多专家能力，各有创新与良好效果。
阿里开源Qwen3-Coder-Next，80B参数仅激活3B的MoE顶尖编程助手
阿里开源小型MoE代码模型Qwen3 - Coder - Next，总参数量800亿但仅激活30亿参数，在代码生成等任务表现出色。团队构建训练技术栈解决数据匮乏，模型训练分阶段，多领域专家模型能力整合，基准测试性能强劲。
万亿思考模型夺下IMO金牌，无缝接入OpenClaw！一句话手搓丐版PS
2026年AI圈竞争激烈，闭源巨头巅峰对决时，开源社区迎来中国队的「技术核爆」。全球首个万亿级混合线性「思考模型」Ring - 2.5 - 1T开源，它能力强大，还能无缝接入Claude Code，实战表现亮眼。
训练数据量降低1万倍，谷歌提出超高质量数据主动学习方法
将大模型应用于特定领域需数据微调，但筛选高保真训练数据难度大、成本高。谷歌提出新主动学习筛选流程，能将训练数据规模降1万倍，还提升模型与人类专家一致性。经实验验证，该方法效果显著。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
当AI接管70%代码审查工作，剩下的30%才是 “地狱模式”
2024年初“Vibe Coding”成热词，其虽能快速验证想法，但在大型企业项目中“不可控性”凸显。亚马逊云科技研发的Kiro，尝试解决“从提示词到生产”的断裂问题。目前代码审查多采用混合模式，AI仅处初级阶段。
AI制造AI、仓库级Coding到Agent底座：2026奇点智能技术大会首批议题公布
2026 奇点智能技术大会将于 11 月 20 - 21 日在北京举行，同期还有 C++ 及系统软件技术大会。大会公布首批核心议题，涵盖 AI 制造 AI、AI Coding、Agent 基础设施、世界模型、具身智能等前沿技术，多位专家将分享实践经验。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。