「多模态扩散Transformer」共找到 1352 篇相关文章
刚刚，「吉卜力狂欢」GPT-4o功臣被挖走！华南理工女学霸曾与奥特曼同台
GPT-4o引爆全球「吉卜力风格」风潮后，其核心成员华南理工学霸Lu Liu与伯克利博士Allan Jabri跳槽Meta。此前他们在OpenAI主导多模态AI研究，与奥特曼同台展示关键功能，此次挖角凸显OpenAI人才流失危机。
沉迷贪吃蛇，7B小模型竟变身「数学天才」！几何推理碾压GPT-4o
NVIDIA等团队提出视觉游戏学习ViGaL范式，让7B多模态模型玩贪吃蛇等游戏，使其在数学、几何等任务击败GPT - 4o。游戏培养通用认知与推理能力，不同游戏提升不同推理能力，多游戏训练效果更佳。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
MiniMax开源首个视觉RL统一框架，闫俊杰领衔！推理感知两手抓，性能横扫MEGA-Bench
MiniMax开源首个视觉RL统一框架V-Triune，由闫俊杰领衔。该框架通过三层组件设计和动态IoU奖励机制，让VLM能联合学习推理和感知任务。还开发Orsta模型系列，在MEGA - Bench表现出色，且MiniMax多模态布局动作多。
谷歌发布最强 AI“全家桶”、一句话就让AI拍大片！这一夜，谷歌Gemini贯穿始终，网友：果然Android“靠边站”了
谷歌在I/O大会推出AI“全家桶”，含Gemini 2.5模型更新、搜索新AI模式等。谷歌已发布十多个新模型、20多个重大AI产品与功能，多项数据显示AI发展迅速，还有多项目融入产品，多模态模型升级。
ACL 2026 | Spatial-Agent：地图Agent全新概念转换范式
论文 'Spatial-Agent' 提出地理空间问答应建模为 'concept transformation'，引入 GeoFlow Graph 中间表示。它从自然语言问题构建图结构，再映射到工具调用。实验显示其对地图任务有帮助，还指出构建地图类 agent 需稳定数据源等。
Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间
Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
深入感知级别图像理解：UniPercept 统一图像美学、质量与结构纹理感知
多模态大语言模型在语义级任务表现卓越，但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept，构建感知属性定义系统与基准测试集，训练强基准模型，在多方面表现超现有顶尖模型，应用潜力大。
对标GPT-4o和香蕉！浙大开源ContextGen：布局身份协同新SOTA
浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。