搜索：多模态DiT架构

「多模态DiT架构」共找到 2586 篇相关文章

迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间

大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。

Google在NeurlPS2025大会推出结合RNN与Transformer的全新架构Titans，能扩展到超200万个token上下文。背后涉及Titans和MIRAS两篇论文，共同推进测试时记忆概念，实验显示新架构性能出色。

清华大学丁文伯团队联合多机构，受鸽子感知机制启发研发仿生多模态触觉传感器 SuperTac，构建 8.5B 参数触觉语言模型 DOVE，成果发表于《Nature Sensors》，推动机器人触觉迈向人类水平。

多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。

本文关注vllm V1中管控模型分布式推理的Executor部分，介绍其类型、Executor-Workers架构及数据传输机制，对比V0架构优势，以单机多卡的MultiprocExecutor为例展开讲解，还提及不同数据量的传输方式及相关代码。

Claude最强“神话”模型Mythos引发猜测，或用了字节Seed技术。社区热议其是否采用循环语言模型架构，关键线索来自Anthropic测试数据，在图搜索测试中Mythos优势明显，还有其他线索指向循环架构。

谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。

谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

文章围绕 OpenClaw“失忆”问题展开，由代码库维护者拆解其记忆架构。通过 Meta 删邮件事故引出代理记忆问题，分析记忆四层结构、三种失败模式，给出应对建议，还介绍检索工具、配置及故障排除方法。