「多模态能力」共找到 3763 篇相关文章
开源SOTA！商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。
LLM规划能力飙升79%！Google：内在自我批评技术拿下多项SOTA
Google DeepMind研究《通过内在自我批评提升大语言模型的规划能力》，不借助外部验证器，让LLM反复“自评+重写”，使Blocksworld准确率从49.8%升至89.3%，还介绍了方法及跨模型验证情况。
构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
RAG终极框架！港大开源RAG-Anything：统一多模态知识图谱
香港大学黄超教授团队发布开源项目RAG - Anything，构建统一多模态知识图谱架构，解决传统RAG技术局限。它能处理多类型异构内容，提供端到端方案，有多种优势及应用模式，还给出部署指南和未来展望。
Anthropic发布Fable 5.1：科研、编程能力翻倍，成本最高降45%
当地时间9月1日，Anthropic推出Claude Fable 5.1和Claude Mythos 5.1。Fable 5.1科研、编程能力翻倍，成本最高降45%，还能解决实际问题，此次模型竞争转向多方面综合较量。
架构解耦是统一多模态模型所必须的吗？全新AIA损失：No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须，推出 AIA 损失。研究发现架构解耦未解决任务冲突，AIA 能提升模型性能，减少数据配比问题。
The Batch: 948 | GLM 5.1：面向长时任务的能力提升
Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1，可在单个任务自主运行八小时。它专为编程和智能体任务设计，有推理等特性，在多榜单表现佳，但推理和数学能力落后闭源模型，价格有提升。
Zendesk：生成式 AI 让代码不再稀缺，研发瓶颈转向“吸收能力”
Zendesk 提出生成式 AI 改变软件交付核心制约因素，从编写代码转为‘吸收能力’。文章阐述该概念，提出四项应对措施，还指出 AI 对不同系统的影响，深化了编码非瓶颈的观点。