「多模态DiT架构」共找到 2586 篇相关文章
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
Mamba一作预告新架构！长文论述Transformer≠最终解法
Mamba一作将演讲整合成科普长文，探讨SSMs和Transformer模型权衡之术。认为Attention非万能，Transformer是阶段性最优。几天后将发布新架构，能与Transformers兼容，还回顾了两模型特点及结合优势。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
开源音视频同步SOTA基座：极简的单流架构，2秒出片
AI视频生成迈入音视频同步新纪元，闭源巨头已展实力，而上海创智学院与Sand.ai联合发布的开源音视频生成基础模型daVinci - MagiHuman，以极简单流架构，2秒就能在1张H100显卡上生成精准音视频同步画面。
Qwen3.8-Flash：全新架构，更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
SRO架构赋予Qwen-2.5-VL推理能力，性能飙升16.8%
文本领域推理模型成就大，但扩展到多模态大语言模型遇阻力，如冷启动初始化不足等。为此提出 SRO 三阶段训练框架，经测试，ReVisual - R1 平均性能提升 16.8 个百分点。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。