「模型扩展」共找到 7861 篇相关文章
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
不止Deep，更要Wide：清华、无问芯穹发布多智能体系统WideSeek-R1，4B模型比肩671B模型！
清华与无问芯穹的RLinf团队提出「广度扩展」，发布多智能体系统WideSeek-R1。它采用「Lead-agent-Subagent」框架，经MARL端到端训练，4B模型在广度搜索任务表现比肩671B模型，且在标准QA任务也出色。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
OpenAI研究大模型对GDP贡献，三大行业已能代替人类，并自曝不敌Claude
OpenAI推出新评估方法GDPval，跟踪模型在现实任务表现。评估显示前沿模型接近专家水平，Claude Opus 4.1表现最佳，GPT - 5准确性出色。还发布黄金子集和评分服务，其处于起步阶段将持续扩展。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
Lumina-mGPT 2.0：自回归模型华丽复兴，媲美顶尖扩散模型
上海人工智能实验室等团队提出Lumina - mGPT 2.0自回归模型，统一多种图像任务。它采用独立训练架构、统一多任务处理框架和高效推理策略，实验表现优异，后续将优化采样时间并扩展至多模态理解。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。
ParScale：一种全新的大模型Scaling Law
文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。
让大模型“吃一堑长一智”，南理工百度等提出模型记忆新方法
南京理工大学联合百度等提出新方法ViLoMem，构建视觉流+逻辑流的双流语义记忆，让模型“从错误中学习”。它能在多模态基准提升模型表现，强模型记忆还可迁移给小模型。