「视觉框架」共找到 2177 篇相关文章
牛津、NUS提出下一代世界模型方向:心智世界模型来了
牛津大学和新加坡国立大学研究团队提出心智世界建模(MWM)通用框架,将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性,实验表明 MWM 对预测人类决策必要,瓶颈是状态转移模拟能力不足。
GenEnv:智能体与环境模拟器之间的难度对齐协同进化 | 直播预约
训练高性能 LLM 智能体受限于真实世界交互数据的成本和特性,为此推出 GenEnv 框架,它建立难度对齐协同进化博弈,能让智能体表现提升,减少数据使用量,为扩展能力提供数据高效路径。
港大开源视频版RAG,像聊天一样看完百小时纪录片。
港大HKUDS团队开源超长视频理解框架VideoRAG,突破传统模型时长限制,支持对数百小时视频精准检索和问答。还有桌面应用Vimo,使用简单高效。介绍了其切片索引、混合检索、生成回答的实现逻辑。
LLM的快速、慢速与工具增强思维模式综述
大型语言模型在不同任务中对推理策略需求差异大,策略选择不当会影响效率与可靠性。本文提出双重知识边界框架,梳理LLMs推理模式,将策略选择形式化,还分析了决策因素及策略选择机制。
让Skill“有图可依”:openJiuwen首发多模态Skill范式Skill-Omni
openJiuwen社区发布业界最早工程化落地的多模态Skill范式Skill-Omni,让Agent经验从‘读得懂’升级为‘看得见’。它能将网页和视频视觉知识沉淀为多模态Skill,还介绍了生成及读取方式和适用任务。
ICLR 2026 Oral | 让大模型学会“像法医般思考”,实现可解释、可泛化的深度伪造检测
生成式AI发展使深度伪造技术安全隐患受关注,现有检测器表现不佳。中科院自动化所联合蚂蚁集团提出Veritas框架,构建HydraFake数据集,赋予大模型“模式感知推理”能力,实验效果超现有检测器,还给出未来研究方向。
Relink:为GraphRAG动态构建证据图
大语言模型在开放域问答中有‘幻觉’问题,GraphRAG结合LLM与知识图谱缓解此问题,但现有方法有缺陷。作者提出‘推理并构建’新范式和Relink框架,实验显示其性能领先,对RAG系统设计有启示。
19K star 霸榜,下一代的浏览器自动化神器!
做爬虫或Web自动化测试常因网页结构变动需重写脚本。Github上超火的Skyvern项目是基于浏览器的自动化代理,不依赖XPath或CSS选择器,用视觉识别结合大模型推理完成任务,已获19k+ star。
7B打败o3、GPT-5!医学AI智能体让模型学会“看哪里、怎么看”
上海创智学院LeapQuest团队联合多校,在ICML 2026接收两篇论文,提出“Think with Images/Think with Videos”范式,让视觉证据参与模型推理,Ophiuchus和MedScope分别用于图像和视频诊断,表现出色。
OpenClaw安全有救了!不改内核、无视AI内部逻辑,数学级枷锁驯服暴走智能体
OpenClaw等智能体能力强大但有安全黑洞,南方科技大学和香港科技大学团队推出ClawLess框架,从底层系统调用源头扼杀智能体出格行为,通过形式化验证、物理隔离、动态验证等手段保障安全。