「学习范式」共找到 2156 篇相关文章
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
不平衡数据下对比学习的理论分析：从训练动态到剪枝解决方案
本文第一作者为新泽西理工学院廖海旭。对比学习在类别不平衡数据下面临挑战，此前研究未考虑其影响。本文构建理论框架刻画训练动态，定量分析少数特征影响，提出剪枝算法增强少数特征学习，实验验证其有效性。
刚刚，OpenAI推出学习模式，AI教师真来了，系统提示词已泄露
今天凌晨，ChatGPT 迎来重磅更新，推出 Study Mode（学习模式）。该模式下，ChatGPT 会帮助用户一步步解决问题，化身导师引导学习。它有交互式提示等多种功能，免费用户也能用，系统提示词还被公开。
Sutton、OpenAI 联创押注的持续学习，有中国团队带着模型进场了
7 月，TML 发布 Inkling 模型，Mind Lab 发布 Macaron V1，二者均针对持续学习场景。持续学习走「参数空间的迭代」路线，让模型用得越多越好用。硅谷已有不少新尝试，产业链正在形成。
深度讨论 Online Learning ：99 条思考读懂 LLM 下一个核心范式｜Best Ideas
文章围绕Online Learning展开深度讨论，指出其或为LLM下一个核心范式。探讨了它是通往更高层次智能的关键路径，分析概念定义、非共识，还阐述做好它的方法，以及架构、算力和评估范式等问题。
SFT远不如RL？永不过时的剃刀原则打开「终身学习」大模型训练的大门
现代AI系统学习新任务时会灾难性遗忘旧知识，限制其持续学习能力。麻省理工学院研究者对比SFT和RL后发现，相同性能下RL更不易遗忘，提出遗忘定律，解释了RL优势源于其on - policy特性。
基础模型已颠覆科研，进入第五范式！港科大综述113篇论文 | NeurIPS'25
港科大论文指出，随着科学问题复杂度提升，传统科研范式显露出局限。基础模型（FMs）横空出世，具备通用性、规模与知识覆盖、推理与生成能力，可能引领科学进入第五范式，但也面临偏见、幻觉等问题。
2026！开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026 年刚开始，大模型领域研究者达成默契，arXiv 论文高频出现 Self-Distillation。传统强教师依赖范式难适配模型持续进化，Self-Distillation 成破局点。MIT 等机构发布三项研究成果，均用信息差实现模型自驱动升级。
只要强化学习1/10成本！翁荔的Thinking Machines盯上了Qwen的黑科技
新智元报道，翁荔的Thinking Machines研究同策略蒸馏策略，能以1/10强化学习成本，结合同策略训练优势与密集奖励信号。该策略受DAGGER启发，扩展Qwen3团队工作，可在Tinker复现，还能用于个性化和持续学习。
2026开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026年刚开场，Self - Distillation成大模型领域高频词汇。传统强教师依赖范式难适配大模型持续进化，MIT等顶尖机构发布三项成果，用不同方法实现自蒸馏，推动模型持续学习。