算法论文8

大模型GUI Agent需通过“屏幕图灵测试”

AI科技评论2026-04-21

AI 摘要

上海交大等学者论文指出，GUI Agent与平台存在利益冲突，为实现共生需具备反检测的拟人化能力。提出“屏幕图灵测试”和AHB基准，探讨拟人化策略及权衡，为Agent生存提供指南。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

RefCaptioner 让视频与参考图精准对应

多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。

手机GUI Agent在长程任务中易遗忘关键信息，浙江大学APRIL实验室和快手主站技术部提出MemGUI - Agent，核心是ConAct，将上下文管理变为Agent动作，还开源MemGUI - 3K数据集，模型在评测基准取得佳绩。

随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。

上海交通大学与vivo团队提出全新持续学习框架Octopus，首创无需历史数据的梯度正交化技术。实验显示，它在UCIT基准上表现超SOTA方法，还实现正向后向迁移，适合端侧部署。