算法论文8
上海大学团队揭示多模态模型attention偏置问题
机器之心
AI 摘要
上海大学曾丹团队：在Vision - Language Models中，attention并非天然反映语义重要性，存在偏置影响剪枝。提出去偏方法，集成到多种剪枝法，有效提升多模态模型效率与可靠性。
阅读原文 · 机器之心
Attention真的可靠吗？上海大学联合南开大学揭示多模态模型中一个被忽视的重要偏置问题
上海大学曾丹团队联合南开揭示Vision - Language Models中普遍的attention偏置问题，提出无需重训的去偏方法，在多模型、策略及基准上验证有效性，为多模态模型部署提供新思路。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
智谱「牛来」模型：国产开源多模态利器
神秘模型「牛来」真身曝光，是智谱刚开源的 GLM - 5.3 Flash，为 5 系列首个原生多模态模型。它尺寸小能力强、价格低，用国产卡，实测多模态和 Coding 能力出色，架构全新，开源后将模型、算力和生态结合。
量子位
开源动态8
智谱、阿里新模型亮相，性能屠榜！
智谱发布GLM - 5.3 - Flash（牛来模型），原生多模态，支持1M token上下文，运行在国产芯片，价格实惠。阿里开源Qwen3.8 - Flash - Next权重，成本低性能优，在四大维度重构架构。
AI寒武纪
产品应用8
Qwen3.8-Flash：全新架构模型发布
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
千问大模型
算法论文8
紫东太初GMC：少80%Token保多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈，传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法，具双阶段架构，优势多，实验显示其能在减少Token同时保持性能。
量子位