「视觉指令微调」共找到 1141 篇相关文章
Claude Opus 4.7发布！这是你在别的公众号看不到的五个发现
Anthropic发布Claude Opus 4.7，编码和视觉能力提升，但长上下文能力下降。其231页的System Card藏着不少有趣发现，如Opus 4.7非最强模型、Claude知道被测试、模型审查自身评估等。
最近新出现的两个提示词注入攻击场景
随着AI应用广泛，提示词注入攻击场景增多。一是Checkpoint发现带注入攻击的恶意软件，与AI分析系统对抗；二是多所大学论文含面向AI的秘密指令，对抗AI审稿。本质是攻防双方的对抗，且会持续。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
百度Qianfan-VL开源，纯国产自研昆仑芯跑出世界一流
百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。
ECCV 2026 | 一段视频，重建一个可仿真的动态世界
机器人走出实验室后，训练数据需覆盖真实世界情况。OVOW由多团队完成，被ECCV 2026接收。它从单目视频出发，输出可编辑、可碰撞的实例级Mesh，串联视觉基础模型完成流水线工作，能用于物理仿真。
Claude Opus 4.7来了，公开模型里的SOTA！不过用起来GPT味好浓
Anthropic推出Claude Opus 4.7，虽有像GPT的争议，但在多方面表现出色。它在高级软件工程、视觉能力等四大方向升级，且具备防护措施和记忆增强。全平台开放，与Opus 4.6同价，使用有注意事项。
Nano Banana Pro 一键极速分镜
Nano Banana Pro能通过一个提示生成叙事型九宫格分镜，用户可构思故事或修改已有故事，还能放大分镜、提示AI修改，该流程极大提升视觉叙事速度，文中还给出提示词示例及任务要求。
AI看不到的爱心，成了最棒的AI检测器。
作者以漂浮爱心图检测AI，Gemini 2.5 Pro、GPT - 5等模型均失败。又用噪点鹿视频测试，AI准确率为0%。原因是AI是空间王者、时间瞎子，无“共同命运法则”视觉系统，存在时间盲视。