搜索：多模态扩散Transformer

「多模态扩散Transformer」共找到 1349 篇相关文章

CVPR 2025 | 多模态统一学习新范式来了，数据、模型、代码全部开源

中国人民大学、清华和腾讯合作的CVPR 2025论文指出，当前多模态学习范式有缺陷。为此提出新范式，构建AV - UIE数据集、Crab框架，实现任务互助，在多任务上超垂类专家模型，数据、模型、代码开源。

多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。

MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。

为研究Transformer是否具备组合式推理能力，提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力，训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制，展示其泛化推理潜力。

X 工程团队宣布开源 X 推荐算法，该算法结合网络内外内容，用基于 Grok 的 Transformer 模型排名。马斯克曾在 2023 年开源部分算法，此次是近三年后再行动。算法开源或因平台此前分发机制受争议。

近日，CraftStory 推出 Model 2.0 视频生成系统，凭借并行扩散架构破解视频时长难题，可生成长达五分钟视频。其由 OpenCV 创建者 Victor Erukhimov 创立，此次突破或为企业带来商业价值，还计划开发新模型。

香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。

The Information报道称，OpenClaw在中国AI圈发酵和扩散速度远超硅谷想象。字节、阿里、腾讯在云平台上线其服务，开发者可云端运行。围绕它的生态在中国疯狂生长，还渗透到硬件领域，对创业者是不可逆冲击。

多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。

在数据多元化时代，多模态知识图谱能为下游应用提供数据支撑，实体对齐是构建知识图谱的核心技术。但大规模知识图谱关联与融合面临噪声和潜隐关联挑战。四川大学团队提出 RULE 方法，缓解了这些影响，论文被 ICLR 2026 接收为 Oral。