搜索：视觉指令微调

「视觉指令微调」共找到 1140 篇相关文章

RLinf上新πRL：在线强化学习微调π0和π0.5

近年来，基于流匹配的VLA模型成机器人领域前沿技术，但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL，提出两种微调方案，在测试平台验证了有效性，目前代码等已开源。

豆包大模型团队与北京交通大学联合提出视觉世界模型 “VideoWorld 2”，无需依赖语言模型，仅靠视觉信息让机器掌握复杂能力。它能完成复杂手工任务，成功率远超主流模型，代码与模型已开源。

港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型，将多种视觉任务抽象为‘先推理、后作答’形式，通过多任务强化学习优化。实验显示其在多任务表现佳，为通用视觉推理模型提供参考。

在多模态大模型后训练浪潮中，现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw，将拼图任务用于后训练，让模型不依赖标注强化视觉感知与理解，在图片、视频和3D模态验证有效。

基础大模型应用于下游任务时微调成本高，低秩适应（LoRA）方法虽降低成本，但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架，在25个多领域任务验证效果好，内存占用仅1/8。

新一年秋招季，岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS，博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程，助零基础者上手，还介绍环境搭建、代码和训练前后效果对比。

4月30日DeepSeek发布多模态论文，核心是“视觉原语”，让模型边推理边输出坐标。它是七大coding agent玩家中最后接入视觉的，但补课方式反共识，不堆分辨率堆指代精度，效率高，拓扑推理成绩领先。

大模型下半场，后训练特别是强化学习成核心战场。潞晨云微调SDK上线，它是国内首个全面开放、且兼容Tinker范式的Serverless微调平台，为强化学习提供低成本解法，在易用性和成本上有优势。

港科大（广州）和字节联合推出开源框架ComfyMind，它是通用视觉生成框架，能统一处理主流视觉生成任务。其性能超现有开源方法，媲美GPT - 4o - Image，还介绍了架构、接口等及性能评估情况。

蚂蚁灵波发布并开源了面向机器人真实任务的空间原生视觉基模 LingBot-Vision 及空间感知模型 LingBot-Depth 2.0，能让机器人更精准地感知世界，解决透明反光材质、小目标和远距离目标等视觉难题。