搜索：视觉指令微调

「视觉指令微调」共找到 1141 篇相关文章

邱锡鹏团队新作：让机器人学会「察言观色」

复旦大学邱锡鹏团队等发布全新操作框架 RoboOmni，突破传统 VLA 依赖显式指令局限。它融合多模态信号，构建数据集，在成功率等方面超基线，以跨模态指令让机器人主动推断意图，开启具身智能‘共情时代’。

本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision，评测显示无外部工具时，大模型与人类准确率有近 9 倍差距，用工具后虽提升但仍远不如人类，还说明了其出题与避免取巧的方式。

腾讯开源混元大模型最新版本Hunyuan - A13B，为专家混合模型，有800亿参数，130亿激活。支持快慢思考模式，针对AI Agent强化，设计超30种智能体指令。测试成绩超DeepSeek - R1等，架构和训练有优化。

Vercel 发布开源项目 Skills.sh，为 AI 智能体打造“标准动作库”，让其通过命令行执行可复用操作。它是开放生态，开发者能定义、分享指令。项目获广泛关注，社区认为其实用性强。

今天凌晨，Meta开源视觉大模型DINOv3，采用自我监督学习，无需标注数据。它在60多个视觉任务测试中表现出色，超越同类模型。还引入后处理优化策略，扩展应用场景，能适应多种部署环境。

UniPat AI 等发布多模态理解评测集 BabyVision，测试显示多模态大模型纯视觉能力仅达三岁幼儿水平。其通过对比实验、细分任务评测，揭示模型系统性缺基础视觉能力，还给出新方向及发展建议。

在Agent时代，提示工程进化成上下文工程。斯坦福等团队提出Agentic Context Engineering（ACE），让智能体自我学习与进化。文章介绍了上下文工程的必要性、定义、常见策略，以及ACE的概念、原理与架构。

近期，‘微调已死’言论引关注。谷歌《ReasoningBank: Scaling Agent Self - Evolving with Reasoning Memory》论文提出类似概念，可让智能体从自身成败经验学习，还引入MaTTS，实验显示其有效性和效率优于基准方法。

最近，一些简单提示词在AI学术圈掀起风波，操作者将其隐秘嵌入论文诱导AI给高分。谢赛宁合著论文也涉此事，他紧急回应，承认过失，解释缘由并采取补救措施，还呼吁探讨AI时代科研伦理。

这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。