「多模态DiT架构」共找到 2586 篇相关文章
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
智源悟界 · Emu3.5 重塑世界模型格局：首提多模态 Scaling 范式，AI 理解世界再进化
北京智源研究院发布大规模多模态世界模型“悟界·Emu3.5”，它能模拟复杂动态物理世界，揭示“多模态Scaling范式”。该模型继承深化Emu3技术哲学，在多方面有提升，为世界模型领域提供进化路线。
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放
检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。
你要做旁观者，还是定义者？中关村两院全球寻找「AI时代架构师」
中关村两院（北京中关村学院与中关村人工智能研究院）一体两院、融合发展，现全球招募AI时代架构师，包括领军人才、青年科学家、应届博士/博后等，介绍了招聘方向及优厚待遇，还将召开人才闭门交流会。
奥特曼宣判Transformer死刑！ AGI两年内降临，下一代架构已在路上
奥特曼在访谈中表示未来将有全新底层架构取代Transformer，还称AGI两年内降临，编程智能体是下一个引爆点。他回忆OpenAI草创期，还给出诸多判断，“后Transformer”竞赛也已打响。
世界模型有了开源基座Emu3.5！拿下多模态SOTA，性能超越Nano Banana
北京智源人工智能研究院的悟界·Emu3.5是最新最强的开源原生多模态世界模型，能处理图、文、视频任务，在多项权威基准上性能亮眼，还具备理解长时序等能力，背后有技术创新，且选择开源。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。