「多模态 Agent」共找到 3452 篇相关文章
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
字节开源GUI Agent登顶GitHub热榜，豆包手机核心技术突破26k Star
字节开源的豆包手机核心支撑GUI Agent模型UI - TARS登顶GitHub热榜，突破26k Star。它是多模态AI智能体，纯视觉驱动，部署简单，历经多轮迭代，成为热门开源多模态Agent。
迈向无缝共生：大模型GUI Agent的「屏幕图灵测试」与拟人化之路
多模态大模型使GUI Agent能模拟用户执行任务，但也引发与平台的利益冲突。论文提出“屏幕图灵测试”和AHB基准评估拟人化能力，探讨拟人化策略及权衡，为Agent在数字世界共生提供指南。
打造Jarvis，OpenClaw很野，但Agent Studio简直变态
文章介绍OpenClaw和Agent Studio两个AI Agent项目。OpenClaw能打通AI Agent与多消息应用，适合技术团队搭建基础设施；Agent Studio可打造个人Agent工作台，重点展示其接入企微流程，还介绍四大核心功能。
创业者闭门探讨：Make for Agent ，其实还是 Make for Human
极客公园组织「Make for Agent」主题闭门 Meetup，探讨 Agent 产品做法。交流聚焦 Agent IM、身份、人类介入、商业模式等问题，指出 Agent 需责任型通信、独立身份，产品设计要兼顾人和 Agent 需求，核心是责任设计。
国产多模态Agent拿下医学分割SOTA！不用改模型、不加token | 浙大&上海AI Lab
现有医学多模态大模型在分割生物医学图像时存在瓶颈，浙大蔡钰祥教授、上海AI Lab江彦开等人提出IBISAgent框架，将分割定义为多步视觉决策过程，实验显示其在多数据集上大幅领先对比方法。
抛弃预定义Tool，首次提出通过动态工具生成的Agentic多模态Reasoning，破31%涨幅
视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。
当 Agent 尝试接管浏览器，连“我是人类”都证明不了？上海交大开源发布交互评测基准 HLL
随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。
老思维做 Agent，没戏！云厂商们又想憋大招了
企业落地 Agent 经历快速演化，自主性 Agent 成新趋势。云厂商起初推 AI Infra，现转以 Agent 应用为中心开启 Agent Infra 赛道竞争，虽已布局但新开发范式未成型，未来需产业链协作迭代。
agent未来落地的收敛形态
当前agent开发变重，基模优化与agent开发脱钩。后续落地的技术收敛范式是将基模训练和agent开发有机结合，有模型更小、agent更智能、基模深入业务场景带来新想象力等好处。