「预训练研究」共找到 3712 篇相关文章
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
EMNLP 2025 | CARE：无需外部工具，让大模型原生检索增强推理实现上下文高保真
MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。
OpenAI新幻觉论文惹争议！GPT-5拉胯是测试基准有问题？？
OpenAI新论文《语言模型为何会产生幻觉？》提出，模型有幻觉是因标准训练和评估流程倾向奖励“猜对”。GPT - 5不爱猜测，在榜单表现不佳，网友质疑论文是为GPT - 5挽尊，论文引发网友多方向讨论。
LLM本质上永远无法实现真正的正确推理
日本埼玉大学荣誉教授Jingde Cheng论文指出，以ChatGPT为代表的大语言模型（LLM）本质上无法实现真正的正确推理。论文定义了“正确推理”，从逻辑和计算原理论证其局限性，为推理智能体研究指明方向。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
Demis Hassabis揭秘世界模型Genie 3的真正意义：为AGI打造无限“虚拟子宫”
Google DeepMind CEO Demis Hassabis与产品负责人深度对谈，爆料将游戏智能体SIMA放入Genie 3生成世界训练，探讨AI从游戏到思考系统的演进、Genie 3意义及AGI评估挑战，还提及与Kaggle合作推游戏竞技场。
「10倍工程师」神话破灭？代码免费，懂品味才值钱
AI正将世界撕裂成「双重现实」，一边是疯狂用AI重构工作流的人，另一边是把AI当玩具的人。AI抬高了行业下限，让「10倍工程师」成新底线，写代码贬值，懂品味的研究值钱，且AI或先改造蓝领行业。
推荐系统进入「双动力」时代！首篇LLM-RL协同推荐综述深度解析
强化学习是推荐系统主流建模范式，但传统 RL 推荐系统有诸多瓶颈。大语言模型崛起带来新机遇，LLM 与 RL 结合开启新范式。研究团队发布首篇相关综述，提出五大协同范式，总结评估体系，分析挑战与方向。
BRIGHT榜单SOTA！人大&百度ReasonRank：用推理增强的段落重排序器
传统listwise在复杂查询表现差，近期工作泛化性不佳。人大与百度等提出ReasonRank，通过全自动合成13K推理数据及两阶段训练，在BRIGHT等榜单表现优异，且ReasonRank-7B比Rank1-7B快2.5倍。
Scaling时代终结了，Ilya Sutskever刚刚宣布
Ilya Sutskever 在访谈中称「Scaling 时代已终结」，指出当前模型存在能力参差不齐、泛化不足的问题。他认为人类情绪类似价值函数，人类学习效率高。未来 AI 发展将进入研究时代，他还分享了 SSI 战略及对 AI 对齐等问题的看法。