搜索：自我监督学习

「自我监督学习」共找到 1684 篇相关文章

Meta刚刚开源DINOv3，横扫60+任务，无标注封神！

今天凌晨，Meta开源视觉大模型DINOv3，采用自我监督学习，无需标注数据。它在60多个视觉任务测试中表现出色，超越同类模型。还引入后处理优化策略，扩展应用场景，能适应多种部署环境。

该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。

无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。

伯克利等机构发布FST框架，通过快慢分层解决大模型持续学习死局。过去两年头部实验室都在提升模型推理能力，却忽视持续学习。FST让模型像大脑一样快慢分层，提升数据效率、减少遗忘，使持续学习可工程化。

深圳北理莫斯科大学人工智能研究院在ICCV发表FedPall算法，结合原型对比与对抗协作学习，在多种特征偏移数据集获SOTA性能。该算法通过多步骤训练缓解特征漂移，在多个公开数据集表现出色。

强化学习教父理查德·萨顿认为人工智能发展已迷失方向，提出OaK架构回应探寻真正智能的需求。该架构是基于模型的强化学习架构，具备组件持续学习等特点，为通用人工智能指明路径，但面临持续学习和特征生成挑战。

大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。

Meta超级智能团队成员毕树超回溯70年AI进化，称多数人低估AI影响，从怀疑到深信AGI已至。他阐述技术进展、难题与趋势，分享研究心路，回顾自监督学习、强化学习等发展，打破诸多机器学习误解。

本文讲述朱哲清在强化学习领域的十年历程。他从斯坦福到Meta再创立Pokee AI，逆势押注强化学习。虽面临诸多质疑，但随着InstructGPT等出现，强化学习逐渐被认可，他致力于构建新一代AI Agent。

Andrej Karpathy提出LLM学习范式缺失‘系统提示词学习’环节。他观察Claude约17000词的系统提示词，认为目前问题解决策略多靠人工写入，理想情况应通过该学习产生，这也引出诸多待明确细节和新问题。