「预训练研究」共找到 3687 篇相关文章
字节发布通用游戏智能体！5000亿token训练，用鼠标键盘吊打GPT-5！
字节seed团队打造通用游戏智能体Game-TARS，基于键盘—鼠标动作空间训练，用超5000亿标注量级数据，结合新技术提升扩展性和泛化性，在多类游戏任务中表现超越GPT - 5等模型。
SFT远不如RL？永不过时的剃刀原则打开「终身学习」大模型训练的大门
现代AI系统学习新任务时会灾难性遗忘旧知识，限制其持续学习能力。麻省理工学院研究者对比SFT和RL后发现，相同性能下RL更不易遗忘，提出遗忘定律，解释了RL优势源于其on - policy特性。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
AI能自己打红警了！经济拉满零交战惨遭打脸，玩家笑疯
Hugging Face推出OpenRA-RL，将《红色警戒》改造成大模型的Agent训练场，50个MCP游戏工具全量暴露，25Hz实时状态流推送，打通三条训练路线，原生接入OpenEnv生态。实战中，Agent经济满分但战斗零分。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。
GPT-5 核心成员详解 RL：Pre-training 只有和 RL 结合才能走向 AGI
本文编译 OpenAI 研究副总裁 Jerry Tworek 访谈，探讨 RL 与通向 AGI 路径。他认为 pre - training 与 RL 需结合，GPT - 5 是 o3 迭代，还谈及推理、模型发展、训练方式及 OpenAI 研究情况等。
AI辩论能力碾压人类，81.7%概率让你信服！研究登Nature子刊
《自然·人类行为》研究指出，在线辩论中，大语言模型根据对手特征个性化论点时，比人类更具说服力。实验显示，与GPT - 4辩论的参与者有81.7%更高概率认同其观点，应加强对大模型舆论操控的监管。
LangChain Agent 年度报告：输出质量仍是 Agent 最大障碍，客服、研究是最快落地场景
LangChain对1300名行业人士调查，揭示AI Agent应用情况。超半数受访者已将Agent投入生产，客户服务、研究与数据分析是热门方向，但输出质量仍是落地最大障碍，成本不再是难题。
EasyCache：无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案
近年来，扩散模型在视频生成领域广泛应用，但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案，在多模型实验中实现大幅提速且视频质量几乎无损，为技术落地提供基础。