「多模态架构」共找到 2568 篇相关文章
ICLR 2026｜原生多模态推理新范式ThinkMorph ，让文字与图像在统一架构中共同演化
NUS、ZJU 等联合提出「ThinkMorph」，主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash，还涌现新能力。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
谷歌开源Gemma 3n：2G内存就能跑，100亿参数内最强多模态模型
本周五凌晨，谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性，核心是 MatFormer 架构，还采用了 PLE 技术等，在多方面实现质量提升。
紫东太初推出GMC核心集剪枝方法，少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈，传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法，具双阶段架构，优势多，实验显示其能在减少Token同时保持性能。
刚刚，智谱和华为搞波大的：中国首个国产芯片训练出的SOTA多模态模型！
智谱与华为合作开源新一代图像生成模型GLM-Image，是中国首个全程用国产芯片训练的SOTA多模态模型，擅长文字渲染，拿下多项榜单第一，API调用一张图只要0.1元，还解析了其技术架构。
字节开源终身记忆多模态智能体，长时记忆+RL，实测超Gemini‑GPT4o！
字节开源全球首个带终身记忆更新的全多模态智能体M3 - Agent，给其装上‘长期记忆’大脑。它构建实体记忆图谱解决现有Agent问题，架构含两个流程，代码实现有特色，跑分数据出色。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
从0开发大模型的17种Agent架构演进详细拆解
文章详细拆解从0开发大模型的17种Agent架构演进，介绍各架构解决的问题、状态、拓扑、路由、失败模式等，指出Agent架构本质是控制流设计，还给出架构选择建议及判断新架构的方法。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
登上NeurIPS，Genesis开创无需OCC引导的多模态生成新范式，在视频与激光雷达指标上达到SOTA水平
华中科技大学与小米汽车提出多模态图像 - 点云联合生成框架Genesis，采用两阶段架构和DataCrafter模块。在nuScenes数据集实验显示，其在视频与激光雷达指标达SOTA水平，还提升了下游感知任务效果。