搜索：多模态扩散模型

「多模态扩散模型」共找到 7914 篇相关文章

多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！

来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。

在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。

3D重建领域中，NeRF和3DGS在新视角生成时易出现伪影，影响应用。英伟达团队提出Difix3D+，将预训练2D扩散模型用于3D渲染，单步去伪影，效率高、有泛化力，实验效果领先。

General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。

普渡大学等研究者提出 DiDi-Instruct 后训练方法，可将扩散大语言模型推理加速 60 倍，超越传统 GPT 模型。该方法实现推理效率与效果双提升，为大语言模型落地提供新方案。

随着扩散语言模型（DLM）发展，它成自回归（AR）模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象，提出 Prophet 策略，实验显示其能在保持高质量生成时显著加速推理。

中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。

谷歌昨夜推出首个基于 Gemini 架构的原生多模态嵌入模型 Gemini Embedding 2，通过 Gemini API 和 Vertex AI 向开发者公开预览。它可将多类型数据映射到统一嵌入空间，多项基测排名第一，还获早期合作伙伴高度评价。

中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。

北京邮电大学团队在顶级期刊IEEE TPAMI发布综述，探讨文生图扩散模型可控生成技术，将核心问题概括为如何注入新型条件信号并稳定控制，从任务和方法层面梳理技术，还提及应用场景与未来方向。