「多模态指令」共找到 1159 篇相关文章
商汤林达华万字长文回答AGI：4层破壁，3大挑战
在WAIC 2025上，商汤发布国内首个实现“图文交错思维”的商业级大模型日日新6.5。商汤科技联合创始人林达华发文，剖析多模态通用智能实践，解答AI领域关键问题，提供通往AGI的参考。
首个多人对话视频生成框架MultiTalk，角色有表情还能互动
现有音频驱动人体动画方法多聚焦单人，处理多音频流能力弱、指令跟随有局限。中山大学提出多人对话视频生成新框架MultiTalk，介绍了技术原理，演示效果显示其指令跟随能力强、伪影少。
统一框架下的具身多模态推理：自变量机器人让AI放下海德格尔的锤子
当前先进机器人无法像人类自如用工具，现有多模态系统有局限。自变量机器人提出端到端统一架构，以统一表示学习和多任务多模态生成解锁具身多模态推理能力，实现范式转换。
独家｜前DeepSeek核心研究员魏浩然出任百度文心多模态算法负责人
9月3日消息，原DeepSeek核心研究员魏浩然带队转入百度，任文心大模型多模态算法负责人。此前他在多模态与端到端OCR底层重构有突出成绩，这是百度布局青年顶尖研发人才的又一动作。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
【综述】MRAG5项关键技术(一)：解析、索引
文章围绕多模态检索增强生成（MRAG）的关键技术展开。介绍多模态文档的三种类型，阐述文档解析与索引的方法，包括基于提取和基于表示的方法，还指出基于提取方法存在的局限性。
给 Agent Skills 装上眼睛：MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills，将可复用技能扩展为多模态程序性知识，通过 branch loading 调用视觉证据，在 GUI 与游戏任务评测中表现出色。
给几何图片写标题就能让AI更聪明，UIUC发布高质量可泛化几何数据集
随着多模态大语言模型在视觉问答等任务广泛应用，其几何推理能力成研究热点。现有方法泛化能力有限，UIUC团队提出Geo - Image - Textualization框架，发布GeoReasoning - 10K数据集，提升模型几何推理表现。
DeepSeek们越来越聪明，却也越来越不听话了。
论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证，模型推理能力变强时，提示词遵循能力变差。研究团队对15个模型测试，发现用CoT推理后执行准确率下降，还提出4种提升指令遵循效果的方案。
让大模型“吃一堑长一智”，南理工百度等提出模型记忆新方法
南京理工大学联合百度等提出新方法ViLoMem，构建视觉流+逻辑流的双流语义记忆，让模型“从错误中学习”。它能在多模态基准提升模型表现，强模型记忆还可迁移给小模型。