「多模态理解与生成」共找到 3413 篇相关文章
ImageNet分数越高，生成反而越糊？iREPA给出解释
Adobe Research论文指出，视觉模型在ImageNet分类准确率高，生成效果未必好，全局语义强易压扁空间结构。iREPA修改REPA训练流程，削弱全局干扰，提升了生成质量。
用子模优化法为DeepResearch生成多样性查询
开发DeepResearch时，生成多样化查询是关键。多数开源项目处理方法粗放，本文提出结合句向量与子模优化的方法，设计子模目标函数，给出代码实现，实验显示该方法生成的查询组合多样性更高。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
智源悟界·RoboBrain Orca：多模态表征世界模型
智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。
腾讯无极低代码平台打开MCP之外的新思路：多模态聊天
腾讯无极低代码平台提出‘前端多模态智能’概念，让AI输出内容更多样，可嵌入交互页面片。它还给出四步配置法实现‘多模态聊天’，与MCP形成互补，能增强信息交互和用户掌控感。
OVI：统一的音视频生成模型，声音与画面同步诞生
音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式，采用双塔 DiT 架构与分块式跨模态融合机制，实现音画同步生成，不过目前有计算开销大、音频有局限等问题。
低延时、可交互的音频驱动肖像视频生成框架LLIA
美团提出新型音频驱动肖像视频生成框架LLIA，是低延迟、可实时交互的虚拟形象生成技术。它提出四项核心技术，引入三大核心模块，构建超100小时数据集，在多方面有出色表现。
CVPR 2026 视频模型趋势梳理：不止生成下一帧，更要理解下一步
视频智能正从画面生成走向运动控制、动态建模等。CVPR 2026 显示视频模型竞争重心从视觉质量转向对时空和物理规律的建模能力，文中介绍多篇相关论文及成果。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
李飞飞押注的空间智能：生成的世界，如何「经得起折腾」？
李飞飞押注的空间智能是世界模型主流路线之一，旨在让AI生成可操作三维世界。但当前AI生成世界存在“中看不中用”问题，构建“站得住”的世界面临速度与状态瓶颈，生境科技等实践提供了解决思路。