算法论文8

合合信息：为多模态大模型推理减负

PaperAgent2026-04-08

AI 摘要

合合信息团队：多模态大模型的 Decoder - only 架构处理视觉 Token 冗余严重。提出动态计算削减方案，削减约 50% 层视觉计算可平衡效率与性能，适用于多场景。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

紫东太初GMC：少80%Token保多模态能力

视觉Token冗余是多模态模型高效推理与落地的瓶颈，传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法，具双阶段架构，优势多，实验显示其能在减少Token同时保持性能。

多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。

随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。

上海交通大学与vivo团队提出全新持续学习框架Octopus，首创无需历史数据的梯度正交化技术。实验显示，它在UCIT基准上表现超SOTA方法，还实现正向后向迁移，适合端侧部署。