搜索：视觉指令微调

「视觉指令微调」共找到 1140 篇相关文章

对谈 Memories AI 创始人 Shawn: 给 AI 做一套“视觉海马体”｜Best Minds

本文是对 Memories AI 创始人 Shawn 的访谈。他指出当下 AI 记忆多为“上下文工程”，其团队致力于打造视觉记忆层 LVMM。还探讨了视觉与文本记忆区别、LVMM 架构及应用场景等，认为视觉记忆将成下一代 AI 核心。

中国科学院自动化研究所联合美团提出单阶段监督 - 强化微调方法 SRFT，结合监督微调与强化微调，解决传统两阶段方法的不足，在多任务中提升推理和泛化能力。

10月17 - 19日，第二届瓦卡奖AI视觉创意大赛在深圳举行。期间AI全球视觉工作坊汇聚专家探讨AI与艺术融合，竞技日集结全球AI视频厂商民间团队参赛。大赛还发布国内首部《AI视觉创意应用蓝皮书》。

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。

Thinking Machines Lab发布首个产品Thinker，让模型微调像改Python代码一样简单。它是用于微调语言模型的灵活API，降低了大模型微调门槛，受到业界关注。此外，该公司还尝试重新发明OpenAI，而OpenAI正打造社交模式。

INSAIT、复旦大学等联合提出ObjectRelator框架，让AI精准匹配不同视角下同一物体，实现跨视角统一表征与理解。它在Ego转Exo和Exo转Ego任务上超基线模型，已被ICCV 2025接收，代码开源。

Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。

当下多模态大模型微调多「照搬」单模态微调策略，忽视模态差异。中国人民大学和上海人工智能实验室团队提出 MokA 方法，兼顾单模态与跨模态建模，在多基座、多场景实验中显著提升性能。

Google Deepmind称在CV领域做出类似GPT-3的成果，Veo 3经大规模训练涌现通用视觉理解和推理能力，能以图片+提示词完成复杂视觉任务，还具备感知、建模等四大超能力。

哈萨克斯坦团队论文对比CNN和用LoRA微调的VLM在乳腺癌病理分类上的表现。指出VLM微调后接近CNN水平，但CNN仍是王者。还介绍LoRA原理、实验设计、结果，给出实战代码及对从业者和研究者的启示。