「视觉预训练」共找到 2667 篇相关文章
R1/Qwen训练新范式：无需继续训练，直接“算”出权重，提效500%
DeepSeek - R1爆火让RLVR成大模型后训练焦点，但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化，提出“权重外推”等方法，实现最高6.1倍训练加速，RL - Extra在多榜单展现高效率。
两个LLM互相对线，推理能力起飞：康奈尔团队发布大模型版类GAN训练法
康奈尔大学团队提出面向大语言模型的类GAN训练框架PasoDoble，通过对抗训练两模型提升推理能力，不依赖外部监督，在多模型实验中显著提升数学基准表现，不过在部分领域外任务有局限。
五百行代码打造SOTA视觉智能体！UniPat AI最新开源
多模态大模型代码能力强，但基础视觉任务常失误。UniPat AI推出极简视觉智能体框架SWE-Vision，让模型用代码弥补视觉短板，在五个主流视觉基准测试达最优。该框架设计独特，开源代码和数据已发布。
GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化
GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。
何恺明新作：给扩散模型加正则化，无需预训练无需数据增强，超简单实现性能提升
何恺明最新论文研究扩散模型与表征学习的联系，提出Dispersive Loss正则化方法。它无需正样本对，有高通用性、低计算开销等优势，在多模型测试中提升了生成质量，在其他任务也有潜力。
拒绝「盲修」：JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力？
现有 Image Editing Agent 缺乏视觉反馈，易致「指令幻觉」和 Reward Hacking。JarvisEvo 应运而生，它通过 iMCoT、SEPO、On - Policy Reflection 等技术，结合 ArtEdit 数据集和三阶段训练，在修图上表现出色，意义超图像编辑。
LeCun力荐的JEPA杀入LLM，用CV的思路训练LLM，性能鲁棒性双丰收
LeCun团队提出LLM - JEPA，将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性，在多模型和数据集验证有效，但有训练开销大、泛化性不足等局限。
港中文联手美团开源“视觉推理通才”！图像视频10类任务一网打尽
香港中文大学MMLab与美团研究团队开源OneThinker模型，它可覆盖图像与视频十类核心视觉任务，在31项测试中表现出色，还展现泛化能力。研究团队搭建数据集，并引入EMA - GRPO算法提升训练稳定性。
VAE时代终结？谢赛宁团队「RAE」登场，表征自编码器或成DiT训练新基石
纽约大学谢赛宁团队推出RAE替代VAE，解决了DiT依赖旧版SD - VAE的问题，如架构复杂、潜空间受限等。RAE结合预训练编码器和解码器，还提出DiT^DH变体，实验效果好，网友看好其前景。
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。