「预训练研究」共找到 3687 篇相关文章
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
深度研究白菜化？谷歌将Gemini级AI研究能力开源
谷歌推出'gemini-fullstack-langgraph-quickstart'开源项目，用Gemini 2.5与LangGraph结合，可构建本地运行的深度研究智能代理系统。介绍其技术架构、工作流程、开发配置、部署扩展，还展示了现代AI应用开发趋势。
模型、代码、数据全开源！轻松训练自己的垂类Agent！
Together AI联合Agentica推出`DeepSWE-Preview`，基于开源Qwen模型，用RL在SWE - Bench - Verified登顶。团队将模型权重、训练框架等全开源，抛弃SFT纯用RL训练，还分享训练秘籍和TTS技巧，为垂类Agent训练提供新范本。
英伟达开源深度研究引擎：企业级数据不出门，研究自动做
NVIDIA推出AI-Q Blueprint，将深度研究流水线打包成Agent Skill，解决企业级数据处理难题。它能让企业数据不出门，代理框架可派任务并获报告，还支持多种认证模式，代码库可本地部署，专为深度研究打磨。
一个月的活一周干完！英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长，无问芯穹与清华等推出的 RLinf 框架，从算子融合到 I/O 全链路系统级重构，使训练吞吐拉高近 4 倍，还解决多类性能瓶颈，保证训练效果。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
“坏”数据让模型更“好”？重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。
Reasoning模型在RL下的探索欲望急速下降问题：探索熵机制
论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。
7B模型对标GPT-4o，全球首个医疗代码生成大模型训练平台来了
研究团队发布全球首个医疗代码生成大模型训练平台MedAgentGym，提供评估基准和训练生态，提升大模型医疗代码生成与推理能力。经其训练的Med - Copilot - 7B达GPT - 4o相当水平，解决医疗AI编程瓶颈。
OpenAI首席研究员Mark Chen长访谈：小扎亲手端汤来公司挖人，气得我们端着汤去了Meta
OpenAI首席研究官Mark Chen在访谈中爆料Meta抢人大战升级成送汤大战，还谈到OpenAI核心研究团队规模、应对Gemini 3策略等。他认为OpenAI本质是研究公司，有信心在预训练和模型性能上超越对手，还提及OpenAI for Science等计划。