搜索：合成引导预训练

「合成引导预训练」共找到 2321 篇相关文章

吞下17亿图片，Meta最强巨兽DINOv3开源！重新定义CV天花板

Meta训出70亿参数「视觉巨兽」DINOv3并完全开源。它用自监督学习，无需人工标注，可生成强大图像特征，在多任务超专用方案，NASA已用其探索火星，还能推动多行业进步。

卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。

前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。

主流‘预训练 - 后适配’范式有局限，原力灵机联合阶跃星辰提出具身原生 VLA 模型 DM0。它能统一机器人操作与导航，在 RoboChallenge 测试领先，还介绍了架构、训练方法及未来演进方向。

文章介绍开源工具 Pixelle-Video，它能让视频创作变得简单。输入主题，它可自动撰写文案、生成配图、合成语音、添加音乐并合成视频，还支持多种功能和大模型，有多种使用和付费方案。

上海交通大学与蚂蚁集团等团队提出新训练框架，构建面向医学诊断的世界模型DiagGym，训练诊断智能体DiagAgent，还设计评测基准DiagBench。实验显示该框架下的智能体表现优于先进模型，代码等已开源。

北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。

现有AI智能体在真实场景表现不稳定，阻碍其应用走向生产。ART开源强化学习框架诞生，通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境，还给出使用方法，在案例中展现强大效能与经济性。

文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。

Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。