「多模态框架」共找到 2414 篇相关文章
谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源
谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。
ICML 2025 Spotlight | 快手、南开联合提出模块化双工注意力机制，显著提升多模态大模型情感理解能力！
情智兼备是人工智能发展方向，但多模态情感数据语义复杂，建模跨模态关联是挑战。快手可灵团队与南开提出模块化双工注意力范式，构建‘摩达’模型，在多任务测试中性能提升，成果被 ICML 2025 收录。
一张4090就能爆改！面壁智能MiniCPM-V 4.6开源，1B多模态卷出新高度
今年是AI应用大规模落地年，参数小的端侧模型有特定场景性能优势。5月11日面壁智能开源MiniCPM-V 4.6，参数仅约1B，多模态能力超阿里、谷歌同类模型，还在多维度提升，站稳端侧多模态开源领域。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
阿里通义的视觉RAG革命！VRAG-RL：基于强化学习的视觉感知RAG框架，性能飙升30%
阿里巴巴通义实验室推出VRAG - RL，融合视觉感知、多模态推理与强化学习，已在GitHub开源。它破解传统RAG处理视觉数据难题，通过创新机制提升性能，在多数据集表现出色，还将向更拟人化和低幻觉方向发展。
Attention真的可靠吗？上海大学联合南开大学揭示多模态模型中一个被忽视的重要偏置问题
上海大学曾丹团队联合南开揭示Vision - Language Models中普遍的attention偏置问题，提出无需重训的去偏方法，在多模型、策略及基准上验证有效性，为多模态模型部署提供新思路。
在AI社会抓「内鬼」？上海AI Lab推出首个多智能体极端事件解释框架
2023年起多智能体系统成人类社会数字镜像，但复杂系统会自发涌现极端事件。上海AI Lab等团队推出解释框架，用沙普利值拆解风险，发现极端事件五大演化规律，还能提前防控风险。
如何“驯服”你的Agent？这可能是你见过最优雅与可控的Agent框架 | 深度体验
文章聚焦对话式Agent，指出LLM不确定性是企业应用Agent的障碍。介绍Parlant框架，它用ABM方法控制交互，能降低LLM负担、处理边缘场景。还通过构建10086客服助手展示其使用，最后与LangGraph对比。
首个故事可视化综合评估框架来了！80个故事单元53种类别，20种技术方案全面对比
随着AIGC技术进步，故事可视化引发关注。阶跃星辰携手上科大、西湖大学提出ViStoryBench可视化评估框架，通过构建多元化数据集、建立多维度评估指标，对超20种技术方案评测，为行业发展提供评估工具。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制：仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。