搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

Meta最新大模型RL微调：在线DPO/GRPO显著优于离线DPO

Meta和NYU研究强化学习在大模型微调中的有效性，对比离线、半在线和在线训练范式。半在线和在线显著优于离线，多任务结合可验证与不可验证任务能提升性能，还给出不同任务的测试数据。

Meta发布V-JEPA 2世界模型及三个新基准测试，Meta首席AI科学家Yann LeCun介绍其不同。V-JEPA 2基于视频训练，用62小时机器人数据就能实现零样本控制，还将探索分层式模型和多模态建模。

昆仑天工发布SkyReels V4视频大模型，在Artificial Analysis Arena基准测试中排全球第二。它支持多模态输入、音视频同步生成等，采用独特架构与技术，经多阶段训练，有全新评估基准，表现出色。

随着GPT - 4等大语言模型兴起，LLM用于推荐系统遇瓶颈，当前方法停在‘System - 1思维’阶段。A4ec框架把LLM从‘快思考’升级到‘慢思考’，用7B模型实现推荐系统升级，使广告收入暴涨4.1%。

阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集，基于Qwen2.5VL设计奖励模型，多项策略增强训练稳定性，实验验证性能提升显著。

多模态大模型看图常“脑补”，存在对象幻觉问题。北航团队提出AFTER框架，含FAS和QAO模块，能在主流LVLM和基准上显著降低幻觉，且推理开销低，为多模态助手落地提供实用路径。

Nvidia开源OpenReasoning-Nemotron系列模型合集，采用Qwen2.5架构，基于500万条轨迹训练。评测输出长度最高64K token，多版本刷新SOTA。其‘heavy’模式有独特能力，32B版在数学与编程基准超越O3（High）。

上海人工智能实验室等团队提出经验管理和学习框架ExGRPO，能科学管理经验。与传统RLVR方法比，它在不同基准提升性能，尤其复杂推理任务，还揭示滚雪球效应，为模型推理训练提供新思路。

9月2日消息，前字节跳动Seed团队强化学习专家孙鹏博士加入星尘智能，负责机器人强化学习方向。星尘智能有技术、资本和商业优势，孙鹏经验丰富，此次加入将助力其强化学习后训练发展。

意大利罗马第一大学GLADIA Research Lab论文提出主流Transformer语言模型信息处理几乎不丢内容，是可逆的。实验验证其单射性，SIPIT算法能100%重建输入。研究有新视角，但也引发讨论。