「自监督预训练」共找到 3062 篇相关文章
无需训练，即插即用：西湖大学发布世界模型WorldForge，让普通视频模型秒变「世界引擎」
自Sora亮相，AI视频可控性成瓶颈。西湖大学AGI实验室团队提出WorldForge框架，在推理时为视频模型注入「时空几何」，无需训练，实现单图360°环绕视频生成和视频重运镜等，降低创作门槛。
Agent-World：扩展真实世界环境，让智能体与环境协同进化！
文章提出Agent-World，将“智能体环境探索”与“自进化训练”结合，构建了1978个环境、19822个工具。实验表明，其在23个基准上一致性优于先进方法与强开源基础模型，还分析了环境规模与自进化对性能的影响。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
千万级标注成本归零！CVPR 2025清华团队成果：相机的“自运动”就是最好的老师
以往空间音频模型受限于采集条件和标注成本，清华和密西根大学团队在CVPR 2025给出新路径，利用相机自运动作监督信号，让模型从互联网视频学三维空间音频感知，成果入选会议Highlight。
最新研究揭示视觉模型与人脑的对齐机制
FAIR与巴黎高等师范学院通过训练自监督视觉Transformer模型（DINOv3），评估脑 - 模型相似性。发现模型大小、训练数据量和图像类型影响相似度，DINOv3学到的表征会逐步与人脑一致。
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。
token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升
新加坡国立大学AI研究者Jinjie Ni团队预训练扩散语言模型（DLMs）与自回归（AR）模型，发现DLMs是超强数据学习者，数据潜力超AR 3倍，重训480次性能仍攀升，还剖析同期研究方法论缺陷。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。
大模型如何泛化出多智能体推理能力？清华提出策略游戏自博弈方案MARSHAL
近日，清华大学等机构研究团队提出 MARSHAL 框架，利用强化学习让大模型在策略游戏自博弈。实验表明，多轮、多智能体训练提升了模型博弈决策水平，将推理能力泛化到通用多智能体系统，在一般推理任务表现显著提升。