搜索：统一多模态模型

「统一多模态模型」共找到 8034 篇相关文章

多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。

字节跳动开源统一多模态基础模型BAGEL，一个模型能同时理解和生成文本、图像、视频。部署测试有亮点但效果不稳定，还分享该模型体验Demo、地址及安装使用教程。

随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。

上海多所高校研究者提出 OST - Bench，从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界，揭示主流多模态大模型在线时空理解短板，为未来模型发展指明方向。

这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。

Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。

Odyssey公司推出世界模型Agora - 1，驱动网页版多人FPS游戏，无游戏引擎等，画面实时生成。该公司专注通用世界模型，此前业务转向主动交互，此成果解决多人游戏一致性难题，还发布多模态模型Starchild - 1。

北大袁粒课题组提出统一大模型架构UniWorld-V1。通过对GPT - 4o - Image实验，发现其依赖语义编码器提取视觉特征，据此设计架构，在多基准测试表现优异，开源代码等促进研究。

多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。