搜索：多模态DiT架构

「多模态DiT架构」共找到 2589 篇相关文章

谷歌AGI底座降临！首个原生全模态嵌入模型上线，已实现全模态SOTA

谷歌发布首个原生全模态 Embedding 模型 Gemini Embedding 2，将文本、图、音视频及 PDF 融于统一向量空间，实现跨模态检索，降低架构成本，赋予 AI 连贯「记忆」，是重塑 AI 基建的里程碑。

Insta360等团队推出全景度量深度基础模型DAP，构建200万量级全景数据引擎，设计三阶段伪标签管线，在模型架构上也有创新，在多项测试中效果优异，项目代码与模型已开源。

文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。

Anthropic官方长文总结5种多智能体协作模式及适用场景，指出何时用多智能体或单智能体更好，还分析各模式工作机制、适用场景、易翻车点，给出架构选择和新手操作建议。

Z-Image标准版开源，它是为开发者准备的强大画板，解决了生成模型同质化问题。其保留完整权重，在微调、风格化上潜力大，采用创新架构，训练定位SFT阶段，有完整CFG支持，还提供完善工具链。

Qoder 发布首个自进化智能体 Quest，它能自主完成重构自身长程任务执行逻辑等任务。Quest 从上下文管理、工具选择、Agent Loop 三方面优化架构，还具备自主进化能力，正探索自主编程新可能。

LTX-2开源，它是Lightricks团队开发的首个开源多模态基础模型，能联合生成音频和视频。采用非对称双流扩散变换器架构，用深度多语言文本编码器，速度比许多纯视频开源模型快，让模型理解声画关联。

港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型，将多种视觉任务抽象为‘先推理、后作答’形式，通过多任务强化学习优化。实验显示其在多任务表现佳，为通用视觉推理模型提供参考。

文章由浅入深介绍LLM基础知识，着重解析Transformer原理，结合案例讲解其工作流程，还介绍当前开源旗舰LLM架构变化，如DeepSeek V3等模型的创新，最后强调模型能力与应用形态的关系。

昆仑万维官宣上线全新一站式多模态AI视频创作平台SkyReels，同步发布模型SkyReels V3并优化多能力。实测其画布、Agent等功能玩法多，还打通多模态边界，将巩固昆仑万维地位，加速人人专业创作愿景到来。