算法论文8

北大&阿里：UniLIP革新多模态模型

机器之心2025-11-02

AI 摘要

北大和阿里团队提出 UniLIP，通过两阶段训练与自蒸馏约束解决语义和细节矛盾，双条件架构连接 MLLM 与扩散模型，在多基准测试中性能卓越，为多模态模型提供新范式。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

浙大开源PhyEdit实现单图精准3D物体操作

浙江大学ReLER团队开源的PhyEdit，用3D foundation model明确目标几何，让DiT图像编辑器负责最终渲染。单张图片里物体能移动并形成连续状态，在多项指标表现出色，还具备多种能力，已被ACM MM 2026接收。

当前图像编辑模型处理三维状态常出错。浙江大学ReLER团队提出并开源PhyEdit，用显式3D几何preview指导图像编辑，还加入深度监督，构建数据集和评测基准，成绩超Nano Banana Pro，且GUI也开源。

浙大陈静远教授课题组等提出自适应非对称适配器，放弃对图像分支硬性微调，引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察，在多个数据集测试中表现优异。

过去两年，AI 生成图片、视频变得容易，但让 AI 理解并按创作者意图创作很难。美图影像研究院过去几年围绕高频创作场景痛点展开研究，11 篇论文被国际顶会接收，成果通过产品落地转化为 AI 影像能力。