搜索：多模态生成模型

「多模态生成模型」共找到 8795 篇相关文章

多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

北京智源研究院发布大规模多模态世界模型“悟界·Emu3.5”，它能模拟复杂动态物理世界，揭示“多模态Scaling范式”。该模型继承深化Emu3技术哲学，在多方面有提升，为世界模型领域提供进化路线。

如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。

当前主流图像生成模型多步策略依赖手工静态调度规则，存在需大量调参、无法适配样本特性的问题。本文提出AdaGen框架，通过强化学习训练策略网络，在四大生成范式上实现性能提升与效率优化。

上海多所高校研究者提出 OST - Bench，从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界，揭示主流多模态大模型在线时空理解短板，为未来模型发展指明方向。

这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。

Gartner发布《生成式AI模型提供商创新指南》，首次对生成式AI市场进行象限划分，按功能完整性和未来潜力将厂商分为新兴领导者、新兴挑战者、新兴远见者和新兴专家四个区域，还指出AI正从实验转向企业核心层。

谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。

Google推出新图像生成和编辑功能，社区称其为‘Nano Banana’，号称‘世界第一’且免费开放。它有风格转换、背景编辑等亮点，用户反馈整体积极，但也存在API限制等问题，与对手有差距也有优势。

Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。