「预训练数据」共找到 4014 篇相关文章
GPT-5 核心成员详解 RL：Pre-training 只有和 RL 结合才能走向 AGI
本文编译 OpenAI 研究副总裁 Jerry Tworek 访谈，探讨 RL 与通向 AGI 路径。他认为 pre - training 与 RL 需结合，GPT - 5 是 o3 迭代，还谈及推理、模型发展、训练方式及 OpenAI 研究情况等。
Anthropic CEO再预警：未来5年砍掉一半入门岗，失业率10–20%
数据显示，2025年美国超一万岗位因引入AI被裁撤。Anthropic CEO Dario Amodei重申观点，未来五年最多一半入门级办公室岗位或被淘汰，失业率或达10% - 20%，各方就应对就业冲击存争议。
刚刚，Meta风雨飘摇中发了篇重量级论文，作者几乎全是华人
风雨飘摇的Meta发布重量级论文《Agent Learning via Early Experience》，提出「早期经验」新范式，让AI智能体「无师自通」，为突破强化学习瓶颈提供新思路。该范式结合两种策略，实验效果显著，还指出了局限与未来方向。
2篇最新152页论文，RL+LLM被彻底讲透了！
今天分享2篇2025最新RL×LLM的技术综述，分别聚焦“RL在LLM全生命周期的打法”和“RL如何炼成大推理模型”，梳理玩法、组件、算法演进等内容，还给出开源模型、数据等盘点。
Thinking Machines曝LoRA终极指南：10倍学习率，媲美全参微调
Thinking Machines推出论文《LoRA Without Regret》，研究LoRA与FullFT达到相近表现的条件。通过实验发现，把握关键细节，LoRA可与FullFT性能相当，还探讨了关键因素、批大小效应等内容。
NeurIPS 2025 Spotlight | FSDrive统一VLA和世界模型，推动自动驾驶迈向视觉推理
面向自动驾驶的多模态大模型存在问题，FSDrive提出“时空视觉CoT”，让模型“以图思考”，联合未来场景与感知结果进行可视化推理。该方法在不改动原有MLLM架构前提下激活图像生成能力，实验表现出色。
陈丹琦新作：大模型强化学习的第三条路，8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法，支持在基础模型上直接使用，节省后训练成本。它让模型生成CoT，用奖励模型评价输出，使小模型超越大模型，推理更像人类。
百亿向量，毫秒响应：清华研发团队向量数据库 VexDB 首发，攻克模型幻觉难题
9月25日，清华数智引航团队发布向量数据库VexDB，能支持百亿千维向量数据毫秒级查询，召回准确度超99%。它可解决大模型幻觉问题，已在多领域深度应用，为企业AI转型提供方案。
创始人自曝让儿子辍学用AI上课、水平超同龄人！俞敏洪最先押注的“AI学校”，负债9亿不垮、现在要开到美国了
松鼠Ai创始人栗浩洋让儿子辍学用AI上课，称其水平超同龄人。该公司由俞敏洪最早投资，曾负债9亿，后转型推出学习机业务。如今计划将‘AI学校’开到美国，正做相应市场适配调整。
老黄刚投的具身智能公司：三个华人创办
Dyna Robotics获1.2亿美元A轮融资，英伟达是新晋股东。该公司由三个华人创立，决定先将具身AGI带入商用场景，今年4月发布可落地商业场景的灵巧操作基础模型DYNA - 1，已在多场景应用。