「预训练研究」共找到 3687 篇相关文章
LeCun亲自出镜打脸质疑者！憋了20年的AI世界模型，终于爆发了
LeCun亲自出镜介绍V-JEPA 2新进展，目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练，有两阶段训练细节，能用于机器人规划，Meta还发布三个基准测试，后续将研究分层和多模态JEPA模型。
Reasoning模型可以Self-Train！
当前大模型依赖人类标注数据，成本高且扩展难。论文探讨模型自我纠错、自主进化可能，提出自我奖励训练（SRT），用投票共识代替人类标注。在数学数据集上有效果，但高难度数据集出现问题，作者给出解决办法并开源代码。
Thinking Machines新发现：Lora不是权宜之计，哪怕秩低到 1，也能匹敌全参数微调
Thinking Machines和John Schulman新研究刷新对LoRA的认知，实验显示正确使用时它能匹敌全量微调。团队系统研究训练集与参数关系，有层选择、学习率等关键发现，还给出实用建议，但LoRA在部分场景表现待验证。
解决扩散模型过拟合的创新框架T-LoRA
预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
苦研10年无果，千万经费打水漂！AI黑箱依然无解，谷歌撕破脸
ChatGPT「舔狗化」暴露AI缺乏可解释性，谷歌和Anthropic就「机制可解释性」产生争论。谷歌DeepMind不再将其作研究重点，Anthropic则主张重视。十多年研究成果有限，或应采取「自上而下」研究方式。
刚刚，Anthropic 成立了个 AI精神病学团队，正在招人
Anthropic宣布成立「AI精神病学」团队，作为可解释性研究一部分，将研究模型人格、动机等致其行为异常的因素。团队现正招聘研究科学家，不过此举措也引发争议。
CVPR 25 |全面提升视觉感知鲁棒性，生成模型快速赋能三维检测
香港中文大学（深圳）等单位学者提出 DriveGEN 无训练自动驾驶图像可控生成方法，无需额外训练生成模型，通过两阶段策略扩展训练数据，提升三维检测模型鲁棒性，代码已开源。
清华团队：1.5B 模型新基线！用「最笨」的 RL 配方达到顶尖性能
清华团队用两个 1.5B 模型证明，用最基础的 RL 配方可达到小模型数学推理能力 SOTA。单阶段训练加固定超参数实现 SOTA 性能且省一半算力，训练曲线还很平滑。
Claude深夜更新！DeepResearch+MCP入侵你的私人数据，威力很大！
Anthropic宣布Claude的「Integrations」集成功能和「Advanced Research」高级研究能力两项更新，改变人与AI交互方式。集成功能可连接多种应用，高级研究能力增强了搜索研究能力，这些更新标志着AI助手向工作伙伴转变。