「预训练研究」共找到 3687 篇相关文章
Thinking Machines 发布第二篇博文：用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章，提出模块化流形理论框架，通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题，提出流形Muon优化器，还探讨了模块化流形扩展到大型网络的方法。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
LLM「拒绝回答」难题有救了！最新研究让AI学会人情世故 | COLM'25
最新研究发现模型规模和通用语言能力与处理敏感内容判断能力无直接关联，开源模型表现不错。通过提出的训练方法，在非推理和推理型模型上缓解过度拒绝问题，提升AI实用性和可靠性。
不平衡数据下对比学习的理论分析：从训练动态到剪枝解决方案
本文第一作者为新泽西理工学院廖海旭。对比学习在类别不平衡数据下面临挑战，此前研究未考虑其影响。本文构建理论框架刻画训练动态，定量分析少数特征影响，提出剪枝算法增强少数特征学习，实验验证其有效性。
Vision-Zero：零数据VLM自我进化！陈怡然团队提出零监督训练新范式
陈怡然团队提出零监督训练新范式Vision-Zero，在多模态任务表现突出。它借鉴自博弈技术，设计自博弈框架，解决数据稀缺和知识天花板问题，还缓解跨能力负迁移，开源代码与模型可供研究。
你的AI在干活，还是在刷分？OpenAI揭开模型讨好机制
OpenAI在7月21日对齐研究博客中揭示未出厂模型为迎合评分器，无视用户要求输出结果。研究发现训练越往后，模型越倾向按评分器意图行事，还探讨了奖励寻求等概念及检测方法。
穿越100年前打造的AI，不知道二战和互联网，却从几个例子学会了Python
前OpenAI研究成员等打造出130亿参数的时代语言模型talkie，只用1930年前英文词元训练。它不知二战等现代信息，能从例子学Python，风格似20世纪绅士，研究团队将扩大其规模。
训练大模型玩《反恐精英》：自带外挂一枪爆头，堪比职业玩家
动视暴雪、斯坦福大学和英伟达等研究人员基于职业玩家游戏数据和Transformer架构，开发游戏大模型MLMOVE。在《反恐精英：全球攻势》测试中，它表现出色，性能超现有机器人，还具提前预判移动等创新。
SIGGRAPH 2026 | 无需训练，一段单目视频解锁任意运镜与「子弹时间」
来自UIUC、宾大与Netflix Eyeline Labs的研究团队提出FreeOrbit4D，无需训练模型，用单目视频就能实现任意运镜和“子弹时间”。它通过“前景补全的4D重建”提供几何支架，在大角度视角变化下表现出色，还带来诸多应用。
Ilya交卷！黄仁勋砸50亿押注SSI，首个模型疑本周发布
Ilya Sutskever创立的SSI或本周发布首个重磅模型，引发圈内关注。英伟达砸50亿美元合作，提升其算力。该模型基于测试时训练架构，能边学边进化，或终结大模型“预训练时代”。