「多模态LLM」共找到 1855 篇相关文章
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。
代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放
检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。
马斯克亲自点名Karpathy迎战Grok 5！别神话LLM，AGI还要等十年
OpenAI创始元老Karpathy称AGI仍需10年，指出实现AGI难题多。马斯克点名其与Grok 5编程大战被拒。Karpathy还谈及LLM、强化学习、智能体等观点，主张合理看待AI发展。
LLM协作告别文本形式：直接“脑对脑”，Cache-to-Cache实现语义瞬时传输
现有多LLM系统依赖文本通信，效率低且易失真。论文提出Cache - to - Cache（C2C）范式，让LLMs通过KV - Cache“脑对脑”交流，实现高效精准语义传输，在多类任务中提升性能与效率。
超越RAG，DRAG让LLM准确率飙升45.5%，问题越复杂能力越强
RAG技术虽能让LLM检索资料生成答案，但存在短板，听不懂话里有话。DRAG方法应运而生，有DRA和RSC两大法宝，经对比实验，它在多任务上领先，准确率大幅提升，计算开销小。
世界模型有了开源基座Emu3.5！拿下多模态SOTA，性能超越Nano Banana
北京智源人工智能研究院的悟界·Emu3.5是最新最强的开源原生多模态世界模型，能处理图、文、视频任务，在多项权威基准上性能亮眼，还具备理解长时序等能力，背后有技术创新，且选择开源。
首个多模态工业信号基座模型FISHER，权重已开源，来自清华&上交等
清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。