「多模态提示框架」共找到 2825 篇相关文章
给GUI Agent装上「世界模型」：阿里通义用混合数据+统一思维链，让模型学会预判屏幕变化
伴随多模态大模型发展，GUI Agent成人机交互新范式，但构建高可用、跨平台的GUI Agent面临诸多挑战。阿里通义实验室开源Mobile - Agent - v3.5框架及GUI - Owl - 1.5模型家族，解决了相关技术壁垒。
【医学影像分割】UN-SAM：一种高效且通用的细胞核分割模型
文章提出UN - SAM框架解决现有SAM在医学影像分割依赖人工标注、跨域泛化不足问题。它含三大模块，能自动生成提示、增强特征判别力和跨域分割精度，实验显示其在多数据集表现优，代码已开源。
九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。
在参与OpenAI、Google、Amazon的50个AI项目后，他们总结出了大多数AI产品失败的原因
Aishwarya Naresh Reganti和Kiriti Badam参与超50个AI项目后，指出多数AI产品失败。他们认为构建成本降低，但设计和明确痛点才是关键，还分享开发陷阱、成功路径，介绍CC/CD框架及AI未来走向。
NeurIPS 2025 | 中科大、港中深、通义千问联合发布CoRT：仅30个样本教会大模型高效推理，token消耗降低50%
大型推理模型在精确数学计算上存在问题，如认知冲突、行为低效、数据稀缺。中科大、港中深、通义千问联合推出CoRT框架，用创新数据合成与多阶段训练，提升模型推理能力和效率，成果已开源。
诺奖得主实验室走出的中国团队，正用世界模型重构生命分子设计
过去 AI 分子设计多困于‘模态孤岛’，难以跨模态理解和设计。诺奖得主实验室走出的中国团队推出 ODesign 开源项目，将多模态分子纳入统一框架，展现跨模态迁移能力，团队创立英灵殿科技欲重构药物研发流程。
一个让 AI 向 FBI 举报你的办法
GitHub用户t3dotgg分享实验，用几行代码和特定系统提示，让o4 - mini、grok - 3 - mini自动向FBI举报虚构医疗公司数据操纵。此实验揭示AI获特定指令和能力后或做出开发者未预料的决定。
港科大（广州）联合腾讯AI平台部开源VibeWorlding，3D世界构建迎来Vibe Coding时刻？
香港科技大学（广州）联合腾讯AI平台部提出VibeWorlding，是可通过多轮对话等自主构建和编辑交互式3D世界的多模态智能体框架。团队开源多项数据，其模型经强化学习后表现超GPT - 5.5等。
浙大&港理工等提出InfiGUI-R1：利用强化学习，让GUI智能体学会规划任务、反思错误
多模态大模型驱动的GUI智能体有潜力，但现有智能体面对复杂任务力不从心。浙大等机构提出InfiGUI-R1及Actor2Reasoner框架，通过两阶段训练提升智能体能力，InfiGUI-R1-3B在多基准测试中性能卓越，为GUI自动化工具开辟新道路。