「预训练时代」共找到 3275 篇相关文章
绝对零监督Absolute Zero：类AlphaZero自博弈赋能大模型推理，全新零数据训练范式问世
清华大学 LeapLab 团队等提出全新推理训练范式 Absolute Zero，使大模型实现「自我进化式学习」。基于此范式训练的模型 AZR，在代码生成与数学推理基准任务表现出色，缓解了大模型对人工数据依赖难题。
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
端到端GUI智能体首次实现“犯错-反思-修正”闭环，模拟人类认知全过程
南洋理工大学MMLab团队提出框架GUI - Reflection，让端到端多模态GUI智能体有“自我反思”能力。它在各训练阶段引入“反思与纠错”机制，实验证明该框架能提升智能体能力。
一个大脑搞定所有模态，百度ERNIE 5.0技术报告公布
模型发布近3个月后，百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构，参数量万亿但推理激活参数不到3%，实现四种模态原生自回归统一，还在路由调度、训练范式等多方面有创新。
中心动态重分配哈希，北邮团队提出并开源CRH项目 | AAAI 2026
北京邮电大学等机构联合提出新颖端到端框架 CRH，在训练哈希函数时动态更新哈希中心，提升检索精度和语义一致性。论文被 AAAI 2026 收录，代码已开源。
ICLR 2026 Oral | 西湖大学发布Real PDE Bench
复杂物理系统时空演化预测是核心问题，当前AI模型多在数值仿真数据上训练，难以评估其在真实数据上的表现。西湖大学等实验室提出RealPDEBench，含真实与仿真数据，设三类任务、九个评估指标和十个基线方法。
解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估
香港大学与Adobe Research联合发布Self - E框架，可从零训练实现任意步数文生图。它改变训练范式，用两条互补训练信号，在GenEval基准表现出色，让文生图训练更灵活且具扩展性。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。