算法论文8

UNC发布Bifrost - 1实现低成本文生图

AINLPer2025-08-12

AI 摘要

作者提出BIFROST - 1框架，在MLLM和扩散模型间建通信信道。它以补丁级CLIP图像隐变量为媒介，保留主干、设轻量级分支和精准控制网，实验中图像生成和理解能力领先。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Altman力荐：AI幕后大神Alec Radford

2026年7月28日，Altman在播客推Alec Radford至台前，称其为领域重要却鲜为人知的研究者。他主导GPT、CLIP、Whisper等研发，为AI发展贡献大。2024年他离开OpenAI，此后发布Talkie，持续探索模型能力来源。

视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。

浙大陈静远教授课题组等提出自适应非对称适配器，放弃对图像分支硬性微调，引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察，在多个数据集测试中表现优异。

ByteDance Seed团队研究发现，文生图模型中自然语言Caption变长，不意味着模型获更多视觉监督，其信息量更能预测训练损失。团队提出Structured Prompt，从两侧提升文本条件，在多任务上取得显著提升。