「混合专家模型」共找到 7980 篇相关文章
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
让大模型“吃一堑长一智”，南理工百度等提出模型记忆新方法
南京理工大学联合百度等提出新方法ViLoMem，构建视觉流+逻辑流的双流语义记忆，让模型“从错误中学习”。它能在多模态基准提升模型表现，强模型记忆还可迁移给小模型。
阿里 Qwen 又双叒发模型，继基础、编程模型后，最强推理模型 Qwen3 Thinking 登场，击败Gemini 、R1？
阿里通义千问发布最强推理模型 Qwen3-235B-A22B-Thinking-2507，逻辑、通用技能等能力更强，原生支持 256K 上下文。此前已发布基础和编程模型，Qwen API 在 OpenRouter 表现佳，受社区关注。
端到端语音模型：从语音表征到模型架构
本文整理自阶跃星辰语音模型负责人杨学锐在2025年QCon全球软件开发大会的分享。介绍大模型对语音技术的重塑，涵盖识别、合成等方面；阐述端到端语音模型构建，涉及表征、架构、训推和任务；还提及模型评估方法。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
DeepSeek-R1登顶Nature，8位专家严审通过， 大模型「交卷时刻」来了
近日，DeepSeek - R1登上Nature封面，打破主流大模型未经过独立同行评审惯例。同行评审可理清模型机制，提升透明度与可信度，还能避免‘刷榜’‘自评’，虽有公司担心泄密，但它是验证成果的必要程序。
陈丹琦新作：大模型强化学习的第三条路，8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法，支持在基础模型上直接使用，节省后训练成本。它让模型生成CoT，用奖励模型评价输出，使小模型超越大模型，推理更像人类。
GAIR Live 预告｜世界模型——通向通用智能的关键拼图
随着AGI议题升温，‘世界模型’成前沿焦点。GAIR Live将邀顶尖学者与专家，探讨其定义、趋势等问题，还有直播议题如Lecun观点看法、不同领域世界模型差异等。
Adaptive Reasoning Model：Qwen3混合思考->字节AdaCoT->清华AdaThinking
文章介绍三种处理混合思考模式的方法，阿里 Qwen3 通过 SFT 让模型具备思考能力，但需人为控制；字节 AdaCoT 和清华 AdaThinking 让模型自主决定是否思考，分别用多目标优化和受限优化目标训练。