「多模态扩散Transformer」共找到 1348 篇相关文章
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。
解决扩散模型过拟合的创新框架T-LoRA
预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。
Transformer论文作者之一Noam Shazeer宣布离开Google，加入OpenAI
6月18日，Google DeepMind工程副总裁、Gemini模型联合负责人Noam Shazeer宣布离开Google加入OpenAI。他是Transformer架构提出者之一，技术实力强。Google曾花27亿美元请他回归，仍没留住。
布林坦承谷歌低估Transformer，“还被OpenAI挖走了Ilya”
谷歌创始人谢尔盖・布林回母校演讲，复盘谷歌发展，承认曾低估Transformer，让机会给OpenAI。还回顾谷歌诞生、AI掉队又靠Gemini 3翻盘的历程，给出对大学生、创业者建议，反思退休决定。
Transformer祖传设计遭暴击，COLM顶会三篇论文发难
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
理解与生成统一多模态模型：现状与未来 | 直播预约
从GPT - 4o到Gemini，AI实现跨模态联合理解与生成，核心是统一多模态基础模型。但开源社区构建强大统一模型面临挑战。南大等团队梳理超750篇论文分析技术路线，将有直播探讨现状与未来。
图像、视频一模搞定！字节全能原生多模态本地可部署
字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。
Tokenization谢幕？H-Net登场：Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术，实现动态分块机制，嵌入H - Net可替代传统流水线。在多方面实验中，H - Net性能优于基于BPE token的Transformer模型。