搜索：视觉指令微调

「视觉指令微调」共找到 1141 篇相关文章

ICCV2025 | One image is all you need，多模态指令数据合成，你只管给图，剩下的交给Oasis

近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。

中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。

五一期间字节商业化技术团队研发出新一代视觉生成模型，其底层架构是全新的第三条路——生成精炼网络GRN。它能让AI像人一样边画边改，解决了现有模型的问题，在多项基准测试中刷新SOTA记录。

埃默里大学团队推出首个视觉解释基准Saliency - Bench，构建8个任务的数据集，提供标准化评估流程与开源工具包，解决评估缺乏标准等问题，推动可解释AI向可靠、透明发展。

Moonshot AI发布Kimi K2.5技术报告，该模型将文本和视觉打通，有并行执行的智能体集群系统。它采用Joint Training，提出“Zero-Vision SFT”，用MoonViT - 3D处理图像和视频，开源后受欢迎，展示通用智能体可能。

Thinking Machines和John Schulman新研究刷新对LoRA的认知，实验显示正确使用时它能匹敌全量微调。团队系统研究训练集与参数关系，有层选择、学习率等关键发现，还给出实用建议，但LoRA在部分场景表现待验证。

上海交大等团队推出多模态智能体训练方法 Visual-ARFT，让视觉语言模型有「工具智能体」能力，还开源项目。它能自动调用工具、拆解任务，团队构建 MAT-Bench 评测，其在多任务超 GPT-4o。

IDEA研究院团队用3B参数的Rex - Omni打破MLLM目标定位精度僵局。它统一视觉任务，结合坐标编码与强化学习，在多项检测基准超Grounding DINO等，解决定位和行为缺陷，为MLLM成下一代检测模型提供方案。

智谱继GLM4.5后又开源GLM - 4.5V，它是同级别开源SOTA视觉推理模型，在多模态理解榜单表现优异。文章实测其在科研全生命周期的应用，还介绍了模型架构设计和训练策略。

在AI coding工具快速演进的当下，蚂蚁集团CodeFuse算法团队在FSE 2026提出无指令代码编辑框架NES。它从历史编辑轨迹学习开发者意图，有双模型架构，实现分三环节，重构交互链路，提升开发者体验。