「多模态扩散Transformer」共找到 1349 篇相关文章
给 Agent Skills 装上眼睛：MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills，将可复用技能扩展为多模态程序性知识，通过 branch loading 调用视觉证据，在 GUI 与游戏任务评测中表现出色。
给几何图片写标题就能让AI更聪明，UIUC发布高质量可泛化几何数据集
随着多模态大语言模型在视觉问答等任务广泛应用，其几何推理能力成研究热点。现有方法泛化能力有限，UIUC团队提出Geo - Image - Textualization框架，发布GeoReasoning - 10K数据集，提升模型几何推理表现。
让大模型“吃一堑长一智”，南理工百度等提出模型记忆新方法
南京理工大学联合百度等提出新方法ViLoMem，构建视觉流+逻辑流的双流语义记忆，让模型“从错误中学习”。它能在多模态基准提升模型表现，强模型记忆还可迁移给小模型。
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。
让大模型基于「图像事实」说话：用事实文本+自适应编辑，让语言偏见无处遁形丨ICLR'26
多模态大模型看图常“脑补”，存在对象幻觉问题。北航团队提出AFTER框架，含FAS和QAO模块，能在主流LVLM和基准上显著降低幻觉，且推理开销低，为多模态助手落地提供实用路径。
MIT成果登Nature正刊：90天，「AI科学家」完成3500次电化学测试
美国麻省理工学院李巨团队在Nature发表论文，展示多模态机器人平台CRESt。它结合多模态模型驱动的材料设计与高通量自动化实验，大幅提升催化剂研发速度和质量，还解决了实验结果可重复性不足问题。
Sora 2瑟瑟发抖！通义万相2.5放大招：一句话出1080P电影，音画精准同步
云栖大会上通义万相2.5系列模型亮相，包含四大模型，视频生成模型实现音画同步突破，降低电影级视频创作门槛。它创作能力全方位升级，支持多种模态输入，采用原生多模态架构。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
ICML 2026获奖论文揭晓：黄高团队获杰出论文，A3C算法获时间检验奖
ICML 2026公布最佳论文奖项，共10篇获奖，涵盖杰出论文奖、杰出立场论文奖等。此次评选严格，经多轮筛选。获奖论文涉及扩散式大语言模型、扩散模型采样算法等多个领域。
视觉生成的另一条路：Infinity 自回归架构的原理与实践
本文整理自字节跳动韩剑在AICon 2025北京站的分享，以Infinity为例介绍自回归视觉生成原理，对比其与扩散模型，展示Infinity升级方案成果，它在高分辨率文本到图像任务能与扩散模型竞争。