「预训练研究」共找到 3691 篇相关文章
文生图Scaling新变量，被字节Seed团队发现了
ByteDance Seed团队研究发现，文生图模型中自然语言Caption变长，不意味着模型获更多视觉监督，其信息量更能预测训练损失。团队提出Structured Prompt，从两侧提升文本条件，在多任务上取得显著提升。
清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线
清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。
拒掉字节、谷歌橄榄枝，Meta 离职大佬田渊栋官宣自立门户！苏妈老黄追着投
Meta离职大佬田渊栋官宣创业，新公司Recursive Superintelligence首轮融资6.5亿美元，估值46.5亿美元。其团队豪华，想跳出大模型竞争老路，让AI具备自我进化能力，计划2026年中期推出自主训练系统。
无需奖励函数！我们意外构建了自我进化的AI系统
牛津大学发现LLM可通过“部署 - 验证 - 再训练”循环自我进化，绕开人工奖励函数设计瓶颈。在三个经典规划领域实验效果惊人，还在理论上证明其与强化学习的数学等价关系，有优势也有隐患。
AGI前夜重磅：RL突破模型「认知上限」，真·学习发生了！
AI研究圈争论RL能否赋予模型超越基础模型的推理能力。UC Berkeley等团队提出DELTA框架，观察到“RL grokking”现象，还设计新任务验证，提出两阶段奖励调度，总结两种模式等，为争论带来新依据。
60000小时炼出新开源VLA！20多种机器人都能用
蚂蚁灵波发布开源VLA模型LingBot-VLA 2.0，用60000小时预训练数据“喂”出。它支持20多种机器人构型，融合LingBot-Depth提升空间理解，还学会预测未来，在GM - 100评测表现佳。
模型越聪明越“不听话”？MathIF基准揭示AI服从性漏洞
上海人工智能实验室与香港中文大学研究团队发布论文，用MathIF基准揭示大模型“聪明”和“听话”有矛盾，越擅长推理越易忽略指令，还分析了原因并给出让模型更“听话”的方法。
谢赛宁新作：VAE退役，RAE当立
谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。
智能体「卷王」诞生！干活自动配结项报告，1.5张截图就把事说清了
在LLM/VLM驱动的智能体强化学习研究中，验证完成度是挑战。为此提出SmartSnap方法，让智能体成“质检员”，主动留痕存证。它有三大突破，表现惊艳，简化训练准备，让AI更可靠。
HumanSense：探索多模态推理边界，打造「察言观色会共情」的全模态交互伙伴
蚂蚁集团与西安交通大学联合提出并开源 HumanSense，含评估基准与推理模型。通过细粒度评测、全模态消融等研究，提出优化策略，项目已在 GitHub 和 HuggingFace 开源，推动 AI 交互体验革新。