「多模态理解」共找到 1572 篇相关文章
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
刚刚，智谱和华为搞波大的：中国首个国产芯片训练出的SOTA多模态模型！
智谱与华为合作开源新一代图像生成模型GLM-Image，是中国首个全程用国产芯片训练的SOTA多模态模型，擅长文字渲染，拿下多项榜单第一，API调用一张图只要0.1元，还解析了其技术架构。
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。
准确回答视频细节！11B模型挑战视频理解「证据级」任务，开源可商用
近日，复旦大学邱锡鹏教授领衔的OpenMOSS团队联合模思智能开源11B参数的多模态视觉理解模型MOSS-VL。它能准确回答视频里可被验证的细节、时间、过程和空间关系，有六项证据级能力，架构设计独特，采用Apache2.0开源许可。
字节开源终身记忆多模态智能体，长时记忆+RL，实测超Gemini‑GPT4o！
字节开源全球首个带终身记忆更新的全多模态智能体M3 - Agent，给其装上‘长期记忆’大脑。它构建实体记忆图谱解决现有Agent问题，架构含两个流程，代码实现有特色，跑分数据出色。
230个大模型在婴幼儿认知题上集体翻车！揭秘多模态大模型的核心知识缺陷
ICML 2025研究揭示多模态大模型在基础认知能力上表现不佳。研究者建测评题库CoreCognition测试230个主流模型，发现其存在核心知识缺陷，扩规模难补短板，还需补齐核心知识。
小红书提出DeepEyesV2，从“看图思考”到“工具协同”，探索多模态智能新维度
小红书推出多模态模型DeepEyesV2，它延续视觉推理优势，实现代码执行、网页搜索和图像操作的全工具协同。通过多工具协同推理解决复杂问题，采用两阶段训练策略，准确率远超开源模型。
Agent 一年半开发复盘：大家对 Agent 的理解有错位，有效的「认知流程」很关键
本文是作者对一年半AI开发过程的复盘，指出大家对Agent理解有错位，强调有效「认知流程」的关键作用。通过高考、学霸成长等例子阐述Agent核心，对比Chatbot与Agent，还从理论视角解释其有效性，最后点明开发者角色转变及面临的挑战与前沿探索方向。
首个面向科学任务、真实交互、自动评估的多模态智能体评测环境，ScienceBoard来了
ScienceBoard是首个面向科学任务、真实交互、自动评估的多模态智能体评测环境。它集成多领域科研软件，构建科研任务集合，评估智能体在科学任务上的表现，发现现有模型在科研工作流中远未成熟。
不堆参数堆架构，这个8B开源模型把图像理解和生成统一了
商汤开源全新架构的理解生成统一模型SenseNova-U1，虽小尺寸版仅8B参数，却能复刻GPT - Image - 2的不少绝活，在多项指标上登顶开源模型榜首，推理速度逼近主流商用闭源模型。它具备连续性图文创作等能力，底层是NEO - unify架构。