「预训练范式」共找到 2901 篇相关文章
新“SOTA”推理模型避战Qwen和R1？欧版OpenAI被喷麻了
“欧洲的OpenAI”Mistral AI发布首款推理模型Magistral，却再遭质疑未与最新版Qwen和DeepSeek R1对比。该模型亮点是支持多语言推理，以纯RL方式训练，为LLM强化学习提供新范式。
小米陈龙团队首作：统一具身与自动驾驶的开源模型
小米具身智能团队发布首篇论文，提出统一具身智能与自动驾驶的新模型MiMo-Embodied。该模型在多任务中领先，其四阶段训练框架打通两领域边界，为行业提供新范式。
罗福莉携小米MiMo-V2-Flash首次亮相：一次在推理与Agent上的下注｜甲子光年
大模型进入新阶段，效率成能力一部分。小米MiMo团队12月16日晚发布并开源MiMo - V2 - Flash，负责人罗福莉首亮相。该模型在推理、编程和智能体场景表现出色，在架构、训练方法等有创新。
AdaGen: 让图像生成模型学会自适应策略
当前主流图像生成模型多步策略依赖手工静态调度规则，存在需大量调参、无法适配样本特性的问题。本文提出AdaGen框架，通过强化学习训练策略网络，在四大生成范式上实现性能提升与效率优化。
杨植麟带 Kimi 团队深夜回应：关于 K2 Thinking 爆火后的一切争议
上周，月之暗面发布并开源 Kimi K2 Thinking，主打“模型即 Agent”，引发广泛关注。今日凌晨，杨植麟等团队成员在 Reddit 开展 AMA 活动，回应 K2 Thinking 相关问题，如 KDA 机制应用、训练成本、速度与准确性平衡等。
全图与切片并非等价？LLaVA-UHD-v3揭示差异推出高效全图建模方案
随着多模态大模型发展，处理高分辨率图像成关键。主流视觉编码范式难兼顾性能与效率，清华和中科院团队发布 LLaVA-UHD v3，提出 PVC 框架，对比 SBE 和 GNE，验证其在提升效率同时保留模型能力。
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。
舍弃自回归，离散扩散语言模型如何演化？NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
Meta最新大模型RL微调：在线DPO/GRPO显著优于离线DPO
Meta和NYU研究强化学习在大模型微调中的有效性，对比离线、半在线和在线训练范式。半在线和在线显著优于离线，多任务结合可验证与不可验证任务能提升性能，还给出不同任务的测试数据。