「多模态扩散Transformer」共找到 1349 篇相关文章
腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作
大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。
火山引擎 veFuser：面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破，但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架，能在图片和视频生成上实现低延迟、低成本的高质量体验，且未来会持续迭代。
全球首个跨本体、跨视角、多模态物理世界模型，CurrentWorld-0 来了！
Current Robotics 发布跨本体、多模态物理世界模型 CurrentWorld-0，它从真实数据学规律，整合跨本体、多视角和力触预测，可评测机器人，解决动作可控性等问题，让评测成训练数据入口。
RAG 2.0 深入解读
文章深入解读RAG 2.0，指出其虽在多行业落地，但面临多模态处理、检索质量等挑战。还介绍架构升级，阐述检索、重排序等关键技术，最后探讨统一多模态大模型、安全等发展方向及挑战。
老牌Transformer杀手在ICLR悄然更新：Mamba-3三大改进趋近设计完全体
Transformer架构仍是AI主流，Mamba作为挑战者影响力大。Mamba-3在ICLR 2026盲审，有梯形离散化、复数化状态空间模型、多输入多输出状态空间模型三大改进，实证表现佳，适合多场景。
多模态大模型别盲目刷题！诊断-生成-强化闭环，找准盲点 | ICML'26
多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
智源悟界 · Emu3.5 重塑世界模型格局：首提多模态 Scaling 范式，AI 理解世界再进化
北京智源研究院发布大规模多模态世界模型“悟界·Emu3.5”，它能模拟复杂动态物理世界，揭示“多模态Scaling范式”。该模型继承深化Emu3技术哲学，在多方面有提升，为世界模型领域提供进化路线。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
DeepSeek多模态新范式：一张图压缩7056倍，思考能力反超GPT和Claude
DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考，弥合语言与视觉指代鸿沟。它构建紧凑模型架构，信息压缩率达7056倍，训练分三阶段，测试中表现出色，也存在局限。