「多模态架构」共找到 2570 篇相关文章
智源新出OmniGen2开源神器，一键解锁AI绘图「哆啦 A 梦」任意门
2024年9月智源研究院发布统一图像生成模型OmniGen，获社区好评。近期OmniGen升级为OmniGen2，增强多方面能力且全面开源。它采用新架构与策略，有反思机制，玩法丰富，还推出新基准优化部署。
GAN之父Ian Goodfellow病后归来，剑指高效世界模型
GAN之父Ian Goodfellow等提出，利用符号化表示和游戏虚拟世界数据，或为构建动作条件多模态世界模型最佳路径，该模型可支持长时序任务预测与规划，还探讨构建原因、数据来源等。
最强开源VLM“华山论剑”丨多模态专场直播
近期Intern - S1等多模态大模型开源，引发热烈讨论。本周四OpenMMLab等发起AI Insight多模态专场，邀请模型核心研发者分享，涵盖模型设计思路、实践经验等，还有圆桌对谈。
Claude团队大揭秘！如何调动多智能体搞深度搜索
Claude团队分享用多智能体构建深度搜索的心得，展示有效多智能体研究系统架构，涵盖系统架构、提示工程、评估方法等内容，还提及系统面临的问题、挑战及额外建议。
去掉像素中介！上海交大让AI边看边想边画，用同一个“大脑”跨模态推理
上海交大等团队提出LatentUM架构，摒弃像素解码中介，在共享语义潜空间跨模态思考。它用MBAQ技术转化视觉特征，设计MoME架构，还能自我反思、规划路线、模拟世界演变，表现出色。
谷歌发布适用于多智能体的八种设计模式
谷歌发布多智能体系统八种核心设计模式指南，涵盖顺序流水线到人工介入架构等范式，对每种模式清晰解释，还附谷歌 Agent Development Kit 示例代码，助开发者结构化设计系统。
老黄喝豆汁「破防」背后，国产GPU正在填上CUDA护城河
老黄喝豆汁刷屏，但更值得关注的是国产GPU生态。摩尔线程发布会展示MUSA生态，实现全方面覆盖，从兼容到自进化，在云端、端侧应用出色，还打通全链路，且未用最强架构。
独家｜前DeepSeek核心研究员魏浩然出任百度文心多模态算法负责人
9月3日消息，原DeepSeek核心研究员魏浩然带队转入百度，任文心大模型多模态算法负责人。此前他在多模态与端到端OCR底层重构有突出成绩，这是百度布局青年顶尖研发人才的又一动作。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
【综述】MRAG5项关键技术(一)：解析、索引
文章围绕多模态检索增强生成（MRAG）的关键技术展开。介绍多模态文档的三种类型，阐述文档解析与索引的方法，包括基于提取和基于表示的方法，还指出基于提取方法存在的局限性。