「视觉预训练」共找到 2667 篇相关文章
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。
75%预训练数据都能删！Jeff Dean新作：全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量，用元学习筛选有价值数据，提升模型训练效率。它能减少计算量、提高性能，在低质量数据集效果佳，还能跨模型规模泛化。
突发！卡帕西宣布入职Anthropic
大神Karpathy宣布加入Anthropic，重回一线大厂。他曾多次在AI领域转换角色，此次将加入预训练团队，开展用Claude加速自身预训练研究。外界揣测其离开OpenAI原因，加入Anthropic能为研究提供更多资源。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
智谱AI发布桌面Agent，轻松训练 AI数字员工
智谱AI发布ComputerRL自主桌面智能框架，旨在让AI像人一样用电脑。它融合API与GUI，采用分布式训练，引入Entropulse解决探索衰减。在OSWorld测试中表现亮眼，虽有视觉感知等挑战，但意义重大。
「CV 铁三角」落定Meta，视觉 AI 如何向多模态演进？
Meta 高薪挖来「CV 铁三角」引关注，其研究成果与视觉 AI 向多模态演进路径高度贴合。他们过往十年协作，研究涵盖 S4L、BiT、ViT 等，构建起现代多模态 AI 基础框架。
ACL 2026 | 腾讯混元Agents工具学习新范式
腾讯混元团队在 ACL 2026 Findings 发布的 ToolCPT 指出，Agent 用不好工具病根在预训练。它从真实代码挖工具，写说明书，融入预训练，实验显示能有效提升工具运用能力，但也有局限和成本。
刚刚，OpenAI找到控制AI善恶的开关：ChatGPT坏人格在预训练阶段已成型
OpenAI最新论文揭示控制AI“善恶”开关。研究发现训练模型在某领域答错题，会致其在其他领域“学坏”，还找到“毒性人格特征”。同时给出解决办法，能让模型恢复正常。
MIT新研究：大模型加噪声就能替代GRPO/PPO调参
MIT新论文提出，预训练模型周围存在大量“专家模型”，只需添加高斯噪声并集成，性能就能比肩甚至超越GRPO/PPO等调参算法。由此启发了RandOpt算法，经测试准确率不错，但也有依赖预训练等缺点。
深度｜Karpathy为何突然加入Anthropic，只能当Dario的「-2」？
5月19日，OpenAI联合创始人Andrej Karpathy宣布加入Anthropic预训练团队。他将组建新团队，用Claude加速预训练研究。文章分析了他加入的原因，以及Anthropic招聘他的动机，还指出这一变动标记着技术拐点。