「视觉指令微调」共找到 1141 篇相关文章
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。
VQA高分是在看图，还是在记答案？ReKey只更新决定答案的那一小块
视觉问答模型准确率提升，但高分可能源于记忆。浙江大学等团队提出 ReKey，保留真实场景，只更新决定答案的视觉线索，使评测面向未见过内容，且多数环节可自动完成。
Meta出走华人创业团队，种子轮800万美元，要打造视觉AI记忆大脑
由前Meta顶尖科学家创立的Memories.ai获800万美元种子轮融资。其大视觉记忆模型LVMM解决AI‘记忆缺失’问题，在多领域刷新SOTA基准，应用潜力大，还开放API及网页应用。
文本已死，视觉当立！Karpathy狂赞DeepSeek新模型，终结分词器时代
DeepSeek新成果DeepSeek - OCR以像素处理文本，压缩率小于1/10，基准测试领跑，开源一夜获4.4k星。Karpathy力挺，认为应赶走分词器，展望视觉成通用输入前景，马斯克有更科幻猜想。
AgentFly：重塑Agent，无需微调LLM，如我们一样的记忆和经验持续学习
现有LLM智能体依赖静态流程或微调参数，缺乏灵活性且成本高。论文提出基于记忆的在线强化学习框架AgentFly，不更新LLM权重，在多基准测试表现出色，为构建通用智能体提供新范式。
分享一些可以让AI使用更丝滑的小技巧
作者起初用AI不顺手，经研究摸索发现是指令有误。分享沟通技巧，如给身份、给参考风格、用“说人话”“举例子”，还可当头脑风暴搭子，强调清晰指令能助自我认知。
DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。
Hugging Face开源nanoVLM，750行代码可训练视觉语言模型，简单到令人发指！
Hugging Face开源全新视觉语言模型框架nanoVLM，仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后，在MMStar数据集准确率达35.3%，且能在免费Google Colab跑。
镜头被油污糊住，机器人还稳定操作？北大/清华等给VLA加一道信息筛选，不靠额外数据，效率提升14x，真机鲁棒性反而更高了 | ICML 2026
北大、清华等机构联合提出StableVLA，相关工作被ICML 2026接收。该工作提出轻量级IB - Adapter，不依赖额外数据对视觉特征筛选对齐，让机器人遇视觉干扰仍能稳定执行任务，实验展现出鲁棒性提升。
RL特训出「押题大师」？破解模型微调中的多样性危机与灾难性遗忘
近年来，基于可验证奖励的强化学习（RLVR）成为提升大语言模型推理能力的重要路径，但许多经RL微调的模型出现‘越训越单一’问题。复旦大学等团队聚焦长期被忽视的KL散度项，提出DPH - RL方法，可缓解多样性坍塌。