「预训练研究」共找到 3687 篇相关文章
【独家】对话汤元科技任冬淳：物理AI的瓶颈，在于训练体系｜甲子光年
对话汤元科技任冬淳，探讨物理AI瓶颈。他认为物理AI瓶颈在训练体系，要满足数据结构质量、训练验证闭环、数据规模效率三要求。汤元构建训练底座，为具身智能和智驾提供服务，具身智能是未来重心。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
突发！OpenAI新模型Astra吓瘫奥特曼：暂停训练两周，GPT-6训练一并冻结
OpenAI宣布暂停内部最强大模型强化学习，Astra模型暂停训练两周，GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施，或有营销意图。
Anthropic 发布最新研究：LLM 展现初步自省迹象
Anthropic 最新研究表明，Claude 展现出真实但有限的内省能力，能在某种程度上识别自己内部状态。研究团队开发验证方法，通过概念注入等实验进行测试，还发现认知控制证据等，不过该能力有局限。
7,700+ star 微软 SkillOpt 可以训练的Skill
微软研究院开源了SkillOpt（7700+ star），把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制，还有SkillOpt - Sleep预览功能，让Skill文档可系统化训练。
无需训练的LLM对齐方法综述
大型语言模型应用引发担忧，传统微调方法有短板，免训练对齐（TF Alignment）应运而生。本文是首篇系统综述TF对齐技术的论文，提出三阶段分类框架，实验显示TF方法优势明显，还指明未来研究方向。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
Claude爆火研究漏引华人团队成果，已挨打立正道歉
Anthropic新论文研究Claude“情绪机制”，漏引华人团队Chenxi Wang去年10月论文。经沟通，A社已道歉并更新博客引用。华人团队论文首篇系统研究LLMs情绪机制，解答核心问题，成果显著。