搜索：多模态扩散Transformer

「多模态扩散Transformer」共找到 1350 篇相关文章

稳定训练、数据高效，清华大学提出「流策略」强化学习新方法SAC Flow

本文介绍清华大学和CMU提出的SAC Flow新方案，可端到端优化流策略。它将流策略视作residual RNN，用GRU和Transformer结构稳定训练。在多环境测试中表现优，有稳定、快速、样本效率高的特点。

LeCun团队推出PEVA模型，让具身智能体学会人类“预判能力”，首次实现16秒连贯场景预测。它结合结构化动作表示与条件扩散Transformer，用真实数据训练，解决长时序问题，还能筛选最优动作。

阿里国际发布多模态大模型Ovis2.5，在OpenCompass综合得分提升，保持SOTA水平。它在原生分辨率视觉感知等三方面突破，有9B和2B两版本，代码、模型等资源已开源，技术原理涉及架构、训练与数据。

2026年7月6日，第43届国际机器学习大会（ICML 2026）在韩国首尔开幕，投稿规模与录用总数破纪录。会上，清华黄高团队论文获杰出论文奖，指出扩散语言模型“灵活性陷阱”；还有多篇论文获荣誉提名，另有立场论文、时间检验奖等揭晓。

11月17日，阿里巴巴上线“千问App”，将Qwen系列模型装进面向C端用户的独立App。它设计极简，功能强大，免费使用。主模型为Qwen3，问答结构化，多模态交互方便，还有翻译等特色功能，背后是强大的Qwen模型生态。

随着 AI 落地企业进程加快，数据类型更丰富，传统企业级数据架构面临瓶颈。火山引擎构建多模态数据湖，以 Lance 为湖格式，从多维度选型技术，解决存储等问题，在多行业有应用潜力。

文章介绍快手多模态大模型 Keye-VL 1.5，参数 8B 适合中小企业。它侧重短视频场景，视频理解能力强，能与业务结合，提升推荐等场景效率。还详述其架构、预训练、后训练及训练架构优化等技术细节。

Kimi 上线 K2.5 模型，前端审美佳，接近 Gemini 3，增强多模态识别，支持视频。测试显示它能按要求生成漂亮网页，还可通过反馈迭代。它对设计师和普通人帮助大，且 Agent 模式任务完成率高。

上海交通大学王德泉教授课题组提出MAC基准，用顶级期刊最新封面构建测试集，评测多模态大模型能力。研究设计两种含“语义陷阱”的测试任务，发现顶尖模型有局限，还提出DAD方法提升表现，采用双重动态机制。

可灵推出全新多模态视频大模型可灵O1，融合多种视频生成与修改能力。实测显示，它能实现视频内容增删、特定内容修改、扣绿幕、动作迁移、风格更改等功能，虽有局限，但开启用嘴改视频新时代。