搜索：视觉指令微调

「视觉指令微调」共找到 1140 篇相关文章

北大团队让AI学会考古！全球首个古希腊陶罐3D视觉问答数据集发布，还配了专用模型

北大团队推出全球首个面向古希腊陶罐的3D视觉问答数据集VaseVQA - 3D，配套专用视觉语言模型VaseVLM。传统模型面对文化遗产复杂对象有不足，新数据集和模型让AI迈向‘文化考古Agent’，未来将拓展到更多领域。

麻省理工学院提出自适应语言模型框架SEAL，让大模型生成微调数据和更新指令适应新任务。实验显示，其生成的合成数据微调效果超GPT - 4.1，在少样本学习和知识整合任务表现优异。

NUS、ZJU 等联合提出「ThinkMorph」，主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash，还涌现新能力。

本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。

当前大视觉语言模型处理复杂推理任务时，常过分依赖语言知识，忽视图像关键信息。港大等团队提出ProReason框架，其蒸馏的ProReason - VL和ProReason - Q3模型性能提升显著，为LVLMs发展提供方向。

当下AI编程工具竞争激烈，大多存在闭源或绑定单一模型的问题。OpenDev是开源的终端AI编程Agent，用Rust编写，仅3.7MB。其论文详细解释设计决策，给出指令衰减问题的工程解法，还有多种实用设计。

Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。

Nature刊登人工视觉研究PRIMA，其让70岁失明奶奶重获光明。该研究由Neuralink联创带队，视网膜植入物使80%患者视力显著改善。PRIMA能逆转恢复视力，与传统疗法不同，已申请监管批准。

文章从源码角度剖析 Cline AI 将自然语言指令转化为编程任务的过程，包括启动调试、前端输入、主进程处理、任务初始化、构建提示、模型请求等环节，指出核心是 prompt 组装和 tools 调用。

在计算机视觉领域，获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练，减少标注成本与时间，可集成到现有训练管道，支持多种模型架构和应用场景。