「多模态指令」共找到 1159 篇相关文章
文生图进入R1时代：港中文MMLab发布T2I-R1，让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法，解决生成评估难题，为多模态生成提供新范式。
当 Agent 尝试接管浏览器，连“我是人类”都证明不了？上海交大开源发布交互评测基准 HLL
随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。
评论送书 | Code Agent实战案例——用Pywen Agent、Claude Agent和Codex Agent从零开始构建一款网页游戏
本文展示用三大Code Agent依斯特鲁普效应构建网页游戏，对比其表现，还介绍让AI做测试方案、写文档，体现Code Agent在快速原型开发全生命周期的应用，还推荐相关书籍解答不同人群疑问。
迈向无缝共生：大模型GUI Agent的「屏幕图灵测试」与拟人化之路
多模态大模型使GUI Agent能模拟用户执行任务，但也引发与平台的利益冲突。论文提出“屏幕图灵测试”和AHB基准评估拟人化能力，探讨拟人化策略及权衡，为Agent在数字世界共生提供指南。
程序员都在给AI当“监工”！7万多条编程消息揭开当前编程现状
圣母大学和范德堡大学研究团队剖析超7万条编程指令，揭示开发者与AI编程助手协作现状。开发者多当“监工”，工作从敲代码转向指导AI、诊断错误等，还总结出人机协同的诸多规律。
CVPR2026 | 鬼手想点谁就点谁？LaSM让GUI智能体把注意力「收回来」
文章聚焦弹窗式环境注入攻击，指出多模态智能体易受环境干扰致目标漂移。提出 LaSM 方法，通过放缩关键层权重让智能体注意力回到任务，实验显示其提升防御效果，且对正常任务影响小。
引爆千亿市场！杭州AI再出王炸：刷新自研天花板，“三甲专家大脑”装进14亿人口袋
在2026智诊科技AI发布会上，智诊科技完成蜕变。其发布的Wise MemOS 2.0打破传统局限，WiseDiag V2有深度多模态联合分析能力，WiseResearch让AI告别幻觉，“好伴AI”下放技术，服务大众。
模型声称会“脑补”，结果被论文打脸了？潜在空间想象竟是“摆设”！
多模态大模型中“潜在视觉推理”概念很火，研究者让模型在潜在空间“想象”。但清华和北交学者论文指出，潜在 Token 不关心输入、不影响输出、没信息量。作者提出 CapImagine 方案，效果远超潜在空间方法。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构，实现评测全链路自动化。它能学习标注标准，完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案，解决多模态幻觉等问题，提升机审率，节省标注成本。
蚂蚁开源世界模型LingBot-World：具有分钟级记忆的实时世界模拟器
蚂蚁集团旗下灵波科技开源具身智能模型及世界模型LingBot-World，它将视频生成模型进化成可交互世界模拟器，采用多阶段进化策略，有涌现记忆等能力，虽有不足，但为开源社区构建世界模型迈出坚实一步。