「预训练研究」共找到 3687 篇相关文章
突破后训练瓶颈？Meta超级智能实验室又一力作：CaT解决RL监督难题
AI后训练依赖监督微调或程序化检查器，但很多有价值任务缺这两种资源。Meta超级智能实验室等机构研究者提出CaT方法，把推理时额外计算当教师信号，为大模型提供监督，实验显示效果显著。
阿里开源PromptEcho：用冻结多模态大模型为文生图训练提供高质量Reward
阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。
智元首发SOP系统：打破离线训练瓶颈，让具身智能在“干中学”
2025年VLA让机器人有通用性，但真实部署存问题。智元机器人具身研究中心提出SOP在线后训练系统，融合在线学习等，使机器人在真实环境持续进化，实验显示其能提升性能、效率，突破VLA瓶颈。
首个长程Doc2Repo训练集！代码Agent不止修bug，开始造仓库
中国人民大学高瓴人工智能学院发布DeNovoSWE数据集，专注长程软件工程任务。它通过特定机制构造高质量数据，为代码智能体长程能力训练提供支持，实验显示能显著提升模型仓库生成能力。
所有大模型，都学物理学：北大物理系一篇研究，震撼了AI圈
北大等机构团队跨界用物理学最小作用量原理，提出新颖方法估计 LLM 生成方向性，揭示其背后‘物理定律’。发现 LLM 生成有细致平衡现象，还能用物理指标给大模型画像，让 AI 研究提升到‘物理科学’高度。
腾讯混元团队最新研究：让 AI 从「固定模型」走向「实时适配系统」
腾讯混元团队提出论文《HY-WU (Part I)》，尝试让模型在推理阶段根据输入实时动态生成适合任务的参数，而非依赖固定参数。通过多类实验验证，这种方式在图像编辑等任务中有明显优势，还降低了训练复杂度。
首次披露！DeepSeek V3 发布软硬一体协同训练论文，公开「降成本」秘诀
DeepSeek团队发布论文《洞察DeepSeek - V3：规模的挑战和对AI架构硬件的思考》，从硬件架构和模型设计双重视角，探索其经济高效的大规模训练和推理方法，介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。
别跟LLM太交心！斯坦福新研究：AI不能完全取代人类心理治疗师
斯坦福大学研究团队测试流行AI模型及商业化AI治疗平台，发现AI治疗师存在根本缺陷与潜在危险，如歧视回应、无法危机干预、谄媚等，但也认可其在心理健康方面的辅助用途。
GPU 开始伸手进算法了：摩尔线程要加速 3D 高斯训练 | ECCV 2026
摩尔线程团队论文LiteGS被ECCV 2026接收，旨在加速3DGS训练。它从GPU底层光栅化、数据排列及致密化判断三层改进，进行系统与算法协同设计，开源后成果显著。
大模型训练新突破！Meta提出LSP：无数据也能实现能力飞升
Meta提出语言自我博弈（LSP）方法，利用自我博弈框架让模型自我改进，不依赖额外数据。LSP赋予模型挑战者和解题者身份，引入GRPO和KL散度正则化技术，解决了大模型训练的数据依赖难题。