「预训练研究」共找到 3704 篇相关文章
只要9美元！LoRA+强化学习，DeepSeek 1.5B推理性能暴涨20%
南加州大学团队基于LoRA的强化学习训练1.5B推理模型，在AIME 24测试上性能提升超20%，成本仅9美元。开源Tina模型结合三大关键技术，与SOTA模型相比竞争力强，研究者还对其有效性提出假设。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。
Anthropic员工离职创业，估值10亿美元，也做「递归自我改进」
Anthropic离职员工Behnam Neyshabur和Harsh Mehta创立Mirendil公司，获2亿美元种子轮融资，估值达10亿美元。目标是构建工具平台，让科研团队自主训练AI模型，采用递归自我改进技术。
微软 & UT Dallas 联手揭秘：从 SFT 到 RL 的进阶之路
微软与 UT Dallas 合作论文揭秘大模型做漏洞检测从 SFT 到 RL 的后训练流程，构建 C/C++ 漏洞数据集跑通全流程，总结六大‘避坑’指南，还开源整套框架、数据集和模型。
The Batch: 907 | 小而高效模型的“制作”方法
Mistral AI发布Ministral 3系列模型权重，结合剪枝与蒸馏技术，用级联蒸馏法构建。该系列参数规模有140亿、80亿和30亿，在部分测试中表现佳，训练成本低于传统方式。
沉默的进化：LatentMAS 如何通过“潜意识通信”重塑多智能体协作？
这是对多智能体协作领域突破性研究的深度解读。论文提出LatentMAS框架，让智能体直接交换“思维向量”，实现“机器心灵感应”，在性能、速度和Token消耗上全方位碾压传统文本交互模式。
AI终于学会「读懂人心」，带飞DeepSeek R1，OpenAI o3等模型
威斯康星大学麦迪逊分校联合清华的研究《MetaMind: Modeling Human Social Thoughts with Metacognitive Multi-Agent Systems》，将元认知理论融入LLM架构，使模型在心智理论测试达人类平均水平，揭示构建社交智能AI方法论。
AEPO：智能体熵平衡策略优化，让探索更稳，推理更深！
中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。
大模型推理学习新范式！ExGRPO框架：从盲目刷题到聪明复盘
上海人工智能实验室等团队提出经验管理和学习框架ExGRPO，能科学管理经验。与传统RLVR方法比，它在不同基准提升性能，尤其复杂推理任务，还揭示滚雪球效应，为模型推理训练提供新思路。