「预训练视觉表征」共找到 2642 篇相关文章
DeepSeek的GRPO会导致模型崩溃？看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。
用多模态LLM超越YOLOv3！强化学习突破多模态感知极限｜开源
华中科技大学、北京邮电大学等多所高校研究团队共同推出纯多模态开源LLM——Perception-R1，该模型用强化学习优化视觉感知，目前论文和代码均已开源，其在视觉任务上表现出色，为后续研究提供强大baseline。
训练世界模型，开始从人类的肌肉和脑子里偷师了
具身智能数据竞争进入新阶段，第一视角视频虽缓解数据量问题，但未记录人行动的原因及大脑身体实时修正。FaceMind提出Ego - NeuroLoop数据范式，配套NeuroMatrix和NeuroBooster，将训练数据从“行为库”推向“闭环库”。
如何为 GPU 提供充足存储：AI 训练中的存储性能与扩展性
文章分析 MLPerf Storage v2.0 测试结果，探讨不同存储系统在 AI 训练中表现。在满足 GPU 利用率阈值下，能支撑更多 GPU 的存储系统扩展性与稳定性更强，还需关注资源利用率。以太网存储方案灵活且成本效益高。
蚂蚁VLDB最佳论文：用一张“逻辑表”驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据，解决数据准备难题，如在SFT任务中大幅缩短周期。
最新 AGI 暴论：强化学习的「GPT-3 时刻」实现，还需要 1 万年？
国外AI初创公司Mechanize三位创始人联合撰文称，RL或迎“GPT - 3时刻”，但需数千至上万年“模型处理任务所用时间”训练。还提出“复制训练”新范式，能磨炼模型能力，补足短板。
VQA高分是在看图，还是在记答案？ReKey只更新决定答案的那一小块
视觉问答模型准确率提升，但高分可能源于记忆。浙江大学等团队提出 ReKey，保留真实场景，只更新决定答案的视觉线索，使评测面向未见过内容，且多数环节可自动完成。