「多模态交互」共找到 1457 篇相关文章
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
【综述】MRAG5项关键技术(一)：解析、索引
文章围绕多模态检索增强生成（MRAG）的关键技术展开。介绍多模态文档的三种类型，阐述文档解析与索引的方法，包括基于提取和基于表示的方法，还指出基于提取方法存在的局限性。
给 Agent Skills 装上眼睛：MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills，将可复用技能扩展为多模态程序性知识，通过 branch loading 调用视觉证据，在 GUI 与游戏任务评测中表现出色。
给几何图片写标题就能让AI更聪明，UIUC发布高质量可泛化几何数据集
随着多模态大语言模型在视觉问答等任务广泛应用，其几何推理能力成研究热点。现有方法泛化能力有限，UIUC团队提出Geo - Image - Textualization框架，发布GeoReasoning - 10K数据集，提升模型几何推理表现。
让大模型“吃一堑长一智”，南理工百度等提出模型记忆新方法
南京理工大学联合百度等提出新方法ViLoMem，构建视觉流+逻辑流的双流语义记忆，让模型“从错误中学习”。它能在多模态基准提升模型表现，强模型记忆还可迁移给小模型。
让大模型基于「图像事实」说话：用事实文本+自适应编辑，让语言偏见无处遁形丨ICLR'26
多模态大模型看图常“脑补”，存在对象幻觉问题。北航团队提出AFTER框架，含FAS和QAO模块，能在主流LVLM和基准上显著降低幻觉，且推理开销低，为多模态助手落地提供实用路径。
深入体验 A2A SDK：一步步教你构建“服务化”的 Agent 系统
文章基于A2A最新Python - SDK，介绍将LangGraph的Agent通过A2A协议对外暴露并服务的方法，涵盖核心架构、概念、交互流程，以及A2A Server端、Client端实现和测试总结，还提及A2A优势。
AI 互动游戏的 GPT 时刻到了！谷歌Genie 3首测！太牛了！
谷歌去年发布世界模型Genie 3，支持实时生成可交互视频内容，因成本高未开放。现美国18岁以上Ultra用户可试玩，其操控延迟低、画面清晰、物理交互真实，还介绍了操作流程等。
MIT成果登Nature正刊：90天，「AI科学家」完成3500次电化学测试
美国麻省理工学院李巨团队在Nature发表论文，展示多模态机器人平台CRESt。它结合多模态模型驱动的材料设计与高通量自动化实验，大幅提升催化剂研发速度和质量，还解决了实验结果可重复性不足问题。
Sora 2瑟瑟发抖！通义万相2.5放大招：一句话出1080P电影，音画精准同步
云栖大会上通义万相2.5系列模型亮相，包含四大模型，视频生成模型实现音画同步突破，降低电影级视频创作门槛。它创作能力全方位升级，支持多种模态输入，采用原生多模态架构。