「多模态DiT架构」共找到 2584 篇相关文章
字节开源终身记忆多模态智能体，长时记忆+RL，实测超Gemini‑GPT4o！
字节开源全球首个带终身记忆更新的全多模态智能体M3 - Agent，给其装上‘长期记忆’大脑。它构建实体记忆图谱解决现有Agent问题，架构含两个流程，代码实现有特色，跑分数据出色。
从0开发大模型的17种Agent架构演进详细拆解
文章详细拆解从0开发大模型的17种Agent架构演进，介绍各架构解决的问题、状态、拓扑、路由、失败模式等，指出Agent架构本质是控制流设计，还给出架构选择建议及判断新架构的方法。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
登上NeurIPS，Genesis开创无需OCC引导的多模态生成新范式，在视频与激光雷达指标上达到SOTA水平
华中科技大学与小米汽车提出多模态图像 - 点云联合生成框架Genesis，采用两阶段架构和DataCrafter模块。在nuScenes数据集实验显示，其在视频与激光雷达指标达SOTA水平，还提升了下游感知任务效果。
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。
OpenAI 详解规模化低延迟语音 AI 的 WebRTC 架构
OpenAI 介绍为全球规模低延迟语音 AI 调整 WebRTC 架构，将传统媒体终结模型换为中继收发器架构，分离职责，避免复杂逻辑堆砌与转嫁。此架构为实时语音技术布局补充基础设施细节，对架构师有参考价值。
在 AI 增强的变革流中，架构师要承担何种角色？
数据显示多数组织采用AI却未获实质价值，技术进步但组织影响参差不齐。架构师可弥合组织目标与开发速度的鸿沟，利用AI增强架构实践，案例展示了架构流动性在实践中的体现。
AI 时代的架构治理
本文指出在生成式AI时代，软件开发生命周期瓶颈转变为组织将创意转化为成果并保持架构凝聚力的能力。传统人工监督模式难应对，提出声明式架构策略，介绍其在事件模型、OpenAPI验证器等方面应用。
聊聊AI应用架构演进
本文按AI应用架构演进路线，介绍每次演进增加的架构内容及相关技术，涵盖从简易架构到Agent模式等各阶段，还提及监控、推理性能优化等，助读者整理新技术，为探讨AI与传统应用架构异同做调研。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。