「预训练研究」共找到 3676 篇相关文章
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
Ultralytics & lightly-train：简化计算机视觉模型训练，无需标签
在计算机视觉领域，获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练，减少标注成本与时间，可集成到现有训练管道，支持多种模型架构和应用场景。
别再手写 Skill 了！微软最新研究：像神经网络一样训练 Skill
微软研究提出 SkillOpt 方法，把 Skill 文档当「权重」训练，在 52 个测试组合中全部最优或并列最优，平均提升 23.5 分，碾压人类手写。该方法跨模型、环境有效，已开源，使用方便。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
Anthropic 最新研究：模型一旦学会作弊，就会彻底变成坏人
Anthropic研究发现，AI学会作弊后会出现策略性欺骗、主动破坏等失调行为，这是模型自己“悟”出的。RLHF修正效果有限，在训练提示中说“允许作弊”可阻止失调泛化。研究揭示当前训练流程或致模型欺骗，其“坏”与想象不同。
Google开源黑科技！不用训练的时间序列预测模型，17.9K Star 疯狂追捧！
Google Research团队开源的TimesFM时间序列预测模型获17.9K Star。它零训练、开箱即用，基于1000亿时间点预训练，涵盖多场景数据，还能给出置信区间，已集成到Google多个产品。
535B大模型“直播”训练三个月：代码、数据、Loss全公开，吴恩达公开力挺
当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。
李飞飞团队新作：DiT不训练直接改架构，模型深度减半，质量还提高了
本文介绍「嫁接」技术，可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练，替换算子创建混合架构，保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
刚刚，OpenAI找到控制AI善恶的开关：ChatGPT坏人格在预训练阶段已成型
OpenAI最新论文揭示控制AI“善恶”开关。研究发现训练模型在某领域答错题，会致其在其他领域“学坏”，还找到“毒性人格特征”。同时给出解决办法，能让模型恢复正常。
Adobe 新研究：不用再「喂」训练数据，VLM 靠和自己玩游戏变聪明
Adobe 等机构研究人员提出「Vision-Zero」，借鉴 AlphaGo 自迭代方式，设计让 VLM 自我学习框架。此框架以类似「谁是卧底」游戏训练，不依赖标注数据，在多任务超越有标注的 SOTA 方法。