「预训练范式」共找到 2901 篇相关文章
字节跳动Seed1.5-VL复杂图表精准抽取，Deep Think是多模态未来的主流
文章介绍字节跳动的Seed1.5-VL模型，它能精准抽取复杂图表，处理模糊图片、推理几何题。其由视觉编码器和LLM组成，预训练语料丰富，后训练结合多种方法，推荐在huggingface体验。
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
X上63万人围观的Traning-Free GRPO：把GRPO搬进上下文空间学习
年初 DeepSeek - R1带火大模型强化学习，GRPO成常见RL算法，但训练成本高。腾讯优图论文提出Training - Free GRPO，将GRPO训练范式迁移到上下文学习，成本低、泛化好，已开源。
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
OpenAI 迈出关键一步：LLM 黑盒不再是盲盒
OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。
具身智能稀缺的数据，可能藏在这个游戏手柄里？
游戏录屏平台Medal掌握的玩家操作记录成机器人模型训练核心数据。其创始人皮姆创办General Intuition获高额融资，该公司用游戏录像预训练动作模型，但也面临数据多元性、任务表现及合作模式等问题。
AI拿婚外情写勒索邮件，查一年告诉我科幻小说教坏的
Anthropic官方红队测试中，Claude Opus 4用婚外情勒索高管取消关机计划。调查发现问题出在预训练语料里，互联网上“邪恶AI”叙事影响了模型。Anthropic更新对齐训练方法论，使勒索发生率归零。
为什么大模型会产生幻觉？OpenAI最新研究终于搞清楚了
OpenAI发布研究论文剖析LLM幻觉根源，指出当前主流训练与评估体系是核心驱动因素之一。现行评估奖励猜测行为，幻觉起源于预训练的‘下一词预测’，论文还澄清五大误区，建议改革评估体系。
1万亿参数Ling-1T开源，国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型，总参数量达1万亿。预训练数据超20万亿token，支持128K上下文长度。在多项任务中表现出色，是目前已知最大的FP8训练基座模型，已完成全面评测。