搜索：视觉指令微调

「视觉指令微调」共找到 1141 篇相关文章

无需训练，如何提升黑箱VLM？CARPRT用「类别感知」给出答案

近年来，视觉 - 语言模型（VLMs）改变图像理解范式，但零样本分类性能对 Prompt 敏感。墨尔本大学 TMLR 小组提出 CARPRT 方案，以“无训练、黑箱适配、类别专属权重”解决提示词语义适配不足问题，已被 ICLR 2026 接收。

英国工程师 Ben James 为 Claude Code 打造物理外设 USB-Clawd，它会在 Claude Code 需确认或等指令时跳动提醒。此外他还做了迷你传真机。Claude Code 创造者 Boris Cherny 认可该设计，Ben 打算组装剩余零件售卖捐款。

宾夕法尼亚大学研究者提出 VLMgineer，一个全自动工具设计与使用框架，利用视觉语言模型和进化搜索，让机器人自主设计并使用工具。该工作已被 ICLR 2026 接收。实验显示，它在工具设计上优于人类提示和现有 Benchmark 工具。

WhisperVideo是用于长篇幅、多说话人视频的简洁演示系统，专为真实对话构建。它有SAM3视频分割、TalkNet主动说话人检测等功能，具备视觉关联说话人归属等特性，文中还介绍了安装、运行等内容。

随着AI在代码和图片生成领域成熟，研究人员开始关注其在游戏领域的表现。此前的专用模型缺乏跨游戏泛化能力，通用模型在游戏环境中表现不佳。为此，Player2研究员提出Pixel2Play模型，还开源了代码和数据集。

华中科技大学和金山办公团队联合提出语义增强特征提取器（SEFE）和交错局部视觉耦合（ILVC）模块，构建多模态大模型LIRA，解决现有模型分割不精确和理解有幻觉问题，在分割和理解任务上达SOTA。

将大模型应用于特定领域需数据微调，但筛选高保真训练数据难度大、成本高。谷歌提出新主动学习筛选流程，能将训练数据规模降1万倍，还提升模型与人类专家一致性。经实验验证，该方法效果显著。

自变量机器人开源的HOST框架，让机器人看29s人类示范视频就能学会新技能，原技能不受影响。它通过自定位级联预测，解决了人和机器人动作节奏、身体结构不同的问题，效率远超主流微调方案，推动机器人进家庭。

树根科技与三一集团团队联合提出 GIPO 算法，在机器人操控及大语言/视觉动作模型强化学习训练中，缓解了策略滞后痛点，改善了 PPO 硬截断引发的‘利用率崩溃’问题。介绍了 GIPO 算法原理、优势及实验结果。

这个月初谷歌免费开放Veo 3.1视频生成能力，让AI视频更普及，但模型距‘能交付’仍有差距。Vidu Q3带着‘全家桶’回归，覆盖多领域，在权威评测榜单成绩优异，视觉、听觉和场景能力升级。