搜索：多模态扩散Transformer

「多模态扩散Transformer」共找到 1348 篇相关文章

Transformer 中的专家混合模型 (MoE)

文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。

过去几年联合推理模型进展快，但生物医学领域能力碎片化、脆弱或难解释。2026 年，学术界应推进多模态模型建设，关注深度整合、可解释性、数据效率和适应性及模型在工作流中的整合。

中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。

在AI与数据分析处理技术融合的当下，传统数据库架构面临诸多挑战。腾讯云TDSQL Boundless推出，通过统一架构处理多模态数据。本文从核心架构、关键技术特性及对未来数据平台建设的启示三方面解读。

苹果新研究指出，在长任务、多交互的Agent式任务中，基于SSM架构的Mamba在效率与泛化能力上超Transformer。虽Mamba有局限性，但引入外部工具后性能显著提升。

AI助手积累海量多模态数据，记忆和提取成瓶颈。北卡罗来纳大学等团队用AutoResearchClaw让AI 72小时完成多模态记忆系统设计，性能提升超400%，新系统OMNIMEM全面碾压现有主流系统。

多模态模型推动人工智能向现实渗透，多模态智能硬件形态更多样。不同阵营玩家在这一热门赛道竞争，AI手机、机器人、智能眼镜等受关注，近半年还有新型精细形态智能硬件涌现。

文章分享图像生成新方法TransDiff，它结合AR Transformer与Diffusion，提出MRAR范式。通过Q&A解答其使用Transformer原因、小Diffusion Deocder效果等问题，还指出它有连续帧生成潜力，将用于视频生成。

Gemini模型行为产品负责人Ani Baddepudi与谷歌AI Studio产品负责人探讨Gemini多模态技术，涉及设计理念、应用及发展方向。指出多模态对构建AGI重要，还介绍Gemini 2.5视频理解亮点与‘万物皆视觉’理念。

数字音频时代音频易损坏丢失，传统修复法处理长间隙不佳。本古里安大学研究人员提出基于离散扩散模型的音频修复法，经MusicNet数据集实验验证，该方法在各间隙长度上表现优异。