「多模态语言模型」共找到 8304 篇相关文章
多模态大模型别盲目刷题!诊断-生成-强化闭环,找准盲点 | ICML'26
多模态大模型训练常采用‘题海战术’,存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架,通过‘诊断-生成-强化’闭环提升模型能力,实验效果显著,还强调训练应具备诊断能力。
多模态大模型持续学习系列研究,综述+Benchmark+方法+Codebase一网打尽!
近年来,生成式AI和多模态大模型进展显著,但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究,提出综述、方法、Benchmark和Codebase,为相关人员提供全面支持。
图灵奖得主LeCun最后警告Meta!我搞了40年AI,大模型是死路
图灵奖得主Yann LeCun预计将很快离开Meta。因Meta风向转变,LeCun失势。他投身AI研究40年,认为大语言模型是死路,世界模型才是未来,或为此离开Meta并计划创业。
翻译界的ChatGPT时刻!Meta发布新模型,几段示例学会冷门新语言
Meta人工智能研究团队发布Omnilingual ASR系统,能识别1600多种语言,可通过少量示例快速学会新语言。它以开源与社区共创为核心,打破语言技术不平等,让更多语言登上AI舞台。
跳出「黑盒」,人大刘勇团队最新大语言模型理论与机理综述
大语言模型工程成功但理论研究滞后,被视为「黑盒」。人大刘勇团队用生命周期分类法,将LLM理论研究整合为六阶段,系统综述底层理论与机制,指出前沿挑战,为其向严谨科学转型提供路线图。
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。
Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM,在多语言视觉问答任务达 SOTA。它引入注意力池化,连接视觉与语言基座,支持 29 种语言,能高效处理问答等任务,对硬件需求低。
打破视觉Token的算力诅咒,RedundancyLens如何为多模态大模型推理减负
多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法,在不影响性能前提下降低推理成本,适用于多场景。
关于多模态大模型Token压缩技术进展,看这一篇就够了
多模态大模型跨模态融合带来高计算成本,催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类,讨论特定场景压缩机制选择,还探讨了挑战与前景方向。
人大高瓴-华为诺亚:大语言模型智能体记忆机制的系列研究
中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力,形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法,还构建评测榜单、实现工具包。