「预训练研究」共找到 3687 篇相关文章
上交大智能计算研究院论文：不只算对答案，大模型如何真正学会运筹建模丨ICLR 2026
上海交大智能计算研究院提出 StepORLM，通过生成式过程监督提升运筹建模可靠性。研究反思传统训练范式局限，在多数据集测试中，小参数的 StepORLM 表现超大型模型，还分析现有方法缺陷并提出解决框架，有重要方法论和应用意义。
大模型自信心崩塌！谷歌DeepMind证实：反对意见让GPT-4o轻易放弃正确答案
谷歌DeepMind携手伦敦大学研究发现，GPT - 4o、Gemma 3等大语言模型有“固执己见”和“被质疑就动摇”并存的冲突行为，原因与训练、决策逻辑、记忆机制有关。研究还通过两轮实验证实。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
OpenAI去年挖的坑填上了！奖励模型首现Scaling Law，1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式，摆脱对海量人工标注依赖，有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号，用自动化合成数据预训练，小模型能超越大数十倍规模对手。
一篇被证明“理论有误”的论文，拿下了ICML2025时间检验奖
2015年发表的Batch Normalization论文在ICML 2025会议获时间检验奖。它引用超6万次，推动了深层神经网络发展。虽2018年被指理论有误，但仍有新研究发现其对训练过程的根本影响。
蚂蚁出手VLA，就是开源超越Pi0.5的基座模型
当前具身智能落地面临泛化能力不足的挑战，蚂蚁灵波开源发布的基座模型 LingBot-VLA 带来突破。它基于大量真实世界数据预训练，在多项真机任务测试中超越 Pi0.5，且在架构、效率等方面有创新。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
刚刚，Dexbotic开源！VLA性能+46%，机器人叠盘子100%成功，统一具身智能底座
Dexmal原力灵机开源的Dexbotic是具身智能VLA模型一站式科研服务平台，可提供基础设施。其预训练模型在多仿真器中提升传统VLA策略，还推出开源硬件DOS - W1，覆盖训练需求，架构有创新。
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
Anthropic最新论文：检测LLM内省意识的方法
Anthropic与MIT等研究表明，LLM能‘感知’被注入的steering vector，‘内省意识’在DPO等后训练阶段涌现。研究构建实验，发现内省能力行为稳健、检测非简单线性关联等，还揭示检测与识别机制不同及两阶段电路。