「MM - DiT」共找到 47 篇相关文章
ICLR 2026｜滑铁卢大学联合可灵提出UniVideo：统一视频理解、生成、编辑多模态
滑铁卢大学与快手可灵团队提出 UniVideo，是支持视频理解、生成与编辑的多模态模型。它采用双流架构，结合 MLLM 与 MM - DiT 能力，统一 10 个多模态任务，在多项基准超现有方法，代码已开源。
3D指标超过Nano Banana Pro！浙大开源方案让AI在平面图像里进行立体编辑 | ACM MM'26
当前图像编辑模型处理三维状态常出错。浙江大学ReLER团队提出并开源PhyEdit，用显式3D几何preview指导图像编辑，还加入深度监督，构建数据集和评测基准，成绩超Nano Banana Pro，且GUI也开源。
每一幕皆可控！字节发布多主体视频生成神器，人人皆主角
字节发布多主体视频生成神器MAGREF，基于一张参考图像，能生成主体高度一致的视频，多人同台也不串脸。它采用三阶段数据处理流程，构建在DiT架构上，实现复杂视频生成任务。
“这个怎么组装？”一句无害的问题，如何让AI产生危险输出
Amazon团队发现全新威胁模型“视觉排他性”，提出MM - Plan框架，通过强化学习训练智能体自动发现攻击策略。实验显示其对Claude 4.5 Sonnet和GPT - 5攻击成功率可观，代码和数据集已开源。
全员本科生！何恺明组新作：文生图，258M参数就够了
何恺明携本科生团队推出文生图模型MiniT2I，基于MM - JiT架构，仅用258M参数实现不错效果，训练成本低。该架构删繁就简，去掉VAE和AdaLN等模块，性能提升，展现出与工业级模型的竞争力。
OVI：统一的音视频生成模型，声音与画面同步诞生
音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式，采用双塔 DiT 架构与分块式跨模态融合机制，实现音画同步生成，不过目前有计算开销大、音频有局限等问题。
单日渲染100万帧，成本仅要20元：影石发布全球首个全景仿真平台AirSim 360!
影石Insta360的AI研究院成立不到半年成果颇丰，在顶会连中4篇论文，还开源三项核心成果，包括高保真物理仿真平台AirSim360、全景度量深度基础模型DAP、全景文生图世界模型DiT360，直击行业痛点。
LSTM之父22年前构想将成真？一周内AI「自我进化」论文集中发布，新趋势涌现？
本文介绍AI模型自我进化方向的进展，涉及多机构的相关论文。如受“哥德尔机”启发的“达尔文哥德尔机”可自我改进；还有“自我奖励训练”“MM - UPT”“UI - Genie”等方法，展现AI自我进化潜力。
ICCV2025 | One image is all you need，多模态指令数据合成，你只管给图，剩下的交给Oasis
近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。
火山引擎 veFuser：面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破，但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架，能在图片和视频生成上实现低延迟、低成本的高质量体验，且未来会持续迭代。