「多模态能力」共找到 3763 篇相关文章
谢赛宁等推出统一多模态模型!替代VAE实现图像理解/生成双SOTA,代码权重数据集全开源
谢赛宁等团队推出统一多模态模型Blip3 - o,用扩散Transformer生成CLIP图像特征,采用顺序预训练策略。对比多种设计方案,确定CLIP + Flow Matching最佳,模型在多任务测试表现卓越且全开源。
AI秒懂短视频,快手大模型Keye-VL理解力爆表!技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源,能深度融合多模态信息,在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
大模型如何泛化出多智能体推理能力?清华提出策略游戏自博弈方案MARSHAL
近日,清华大学等机构研究团队提出 MARSHAL 框架,利用强化学习让大模型在策略游戏自博弈。实验表明,多轮、多智能体训练提升了模型博弈决策水平,将推理能力泛化到通用多智能体系统,在一般推理任务表现显著提升。
数据分析师如何快速建立在 AI 时代最值钱的能力:一份可落地的行动路线图
文章借Snowflake分享,探讨数据从业者在AI时代的核心能力。介绍AI从工具到执行者的进化,指出数据叙事成稀缺技能,还给出普通职场人90天AI逆袭路线图,强调人类在决策判断上的不可替代性。
用两个简单模块实现分割理解双重SOTA!华科大白翔团队等推出多模态新框架
华中科技大学和金山办公团队联合提出语义增强特征提取器(SEFE)和交错局部视觉耦合(ILVC)模块,构建多模态大模型LIRA,解决现有模型分割不精确和理解有幻觉问题,在分割和理解任务上达SOTA。
北大联手通义实验室发布ZeroSearch:成本暴降88%,无需搜索即可激活大语言模型的检索能力!
北大与通义实验室发布ZeroSearch框架,可无需真实搜索激活大语言模型检索能力。它引入大语言模型模拟搜索、采用结构化模板等策略,成本降88%,多项实验显示其性能超越基线与真实搜索方法。
Attention真的可靠吗?上海大学联合南开大学揭示多模态模型中一个被忽视的重要偏置问题
上海大学曾丹团队联合南开揭示Vision - Language Models中普遍的attention偏置问题,提出无需重训的去偏方法,在多模型、策略及基准上验证有效性,为多模态模型部署提供新思路。
沉迷贪吃蛇,7B小模型竟变身「数学天才」!几何推理碾压GPT-4o
NVIDIA等团队提出视觉游戏学习ViGaL范式,让7B多模态模型玩贪吃蛇等游戏,使其在数学、几何等任务击败GPT - 4o。游戏培养通用认知与推理能力,不同游戏提升不同推理能力,多游戏训练效果更佳。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制:仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型,提出基于 OCR 任务量化注意力头视觉偏好的方法,发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配,经多基准评测,性能和效率表现优。
QwenLong-L1.5发布:一套配方,三大法宝,让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5,提供长文本推理后训练“配方”,含数据合成管线、强化学习方法和智能体架构。通过三大“法宝”重塑模型能力,效果显著,相关代码已开源。