「预训练时代」共找到 3275 篇相关文章
突发！OpenAI新模型Astra吓瘫奥特曼：暂停训练两周，GPT-6训练一并冻结
OpenAI宣布暂停内部最强大模型强化学习，Astra模型暂停训练两周，GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施，或有营销意图。
Scaling时代终结了，Ilya Sutskever刚刚宣布
Ilya Sutskever 在访谈中称「Scaling 时代已终结」，指出当前模型存在能力参差不齐、泛化不足的问题。他认为人类情绪类似价值函数，人类学习效率高。未来 AI 发展将进入研究时代，他还分享了 SSI 战略及对 AI 对齐等问题的看法。
7,700+ star 微软 SkillOpt 可以训练的Skill
微软研究院开源了SkillOpt（7700+ star），把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制，还有SkillOpt - Sleep预览功能，让Skill文档可系统化训练。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。
OpenAI公开大规模稳定训练的秘密，英伟达AMD英特尔都受益
OpenAI通过OCP开放超大规模AI训练用的网络协议MRC，它能确保大规模训练环境下网络通信稳定。该协议由OpenAI联合英伟达等厂商花两年完成，从拓扑、传输、路由维度保障网络可靠性。
用 Docker 跑大模型训练，Unsloth 解决了环境配置难题
Unsloth AI 发布 Docker 镜像版本，解决本地训练大模型环境配置难题。拉镜像就能训练，依赖和示例 notebook 都打包好。使用简单，不过有暂不支持 Mac 系统等限制，单卡 NVIDIA GPU 场景较适用。
AGI 路线图第二阶段：游戏即模型训练｜AGIX PM Notes
文章围绕AGI展开，介绍AGI路线图第二阶段“游戏即训练”，指出游戏是训练agent的理想环境；还提及Dreamer系列研究进展。同时涵盖本周市场动态、多家公司AI动态及ETF复制指数的方法、优劣和影响。
ICML 2026 | 华为GTS提出AI训练数据新方法，Amazon/Google作者团队「光速跟进」：难度自适应训练正在成为新范式
华为GTS研发部AI数据团队提出EDCO方法，将样本难度估计与动态课程编排引入领域大模型微调。该方法用推理熵动态编排训练课程，让模型面对最有学习价值的样本，已被ICML 2026接收。
北大联合Llama-Factory推出DataFlex：工业级数据动态训练系统
北大张文涛教授、鄂维南院士团队联合多机构推出大模型数据中心动态训练框架DataFlex。它是统一训练基础设施，纳入三类核心能力，解决底层系统问题，在效率和效果上有提升，受社区认可。