搜索：原生多模态架构

「原生多模态架构」共找到 2908 篇相关文章

最低仅需2G显存，谷歌开源端侧模型刷新竞技场纪录，原生支持图像视频

今天凌晨，谷歌官宣Gemma 3n，原生支持多模态。它在大模型竞技场超1300分，是首个超此分数的10B以下模型。其VRAM占用低，最低2GB，已在谷歌AI Studio等可用，还公开了技术细节。

在WAIC上，RockAI推出基于非Transformer架构Yan 2.0 Preview的多模态大模型，有原生记忆能力。它在性能指标上优势明显，其记忆机制接近生物方式，团队秉持理念推动离线智能，获硬件厂商关注。

大晓机器人发布 Kairos 开悟世界模型，其首创“多模态理解 — 生成 — 预测”原生一体化架构，采用跨具身渐进式训练体系和“以人为中心”的数据金字塔，还实现端侧部署，在四大权威具身智能基准上全面登顶。

在软件开发与AI浪潮融合背景下，架构师面临新挑战。InfoQ采访Apiumhub联合创始人Christian Ciceri，探讨‘可度量、可演化的架构’理念及AI影响，Ciceri强调AI辅助而非替代人，架构需团队共创。

上海人工智能实验室开源MemVerse，这是首个面向智能体的通用多模态记忆框架。它将多模态信息与文本对齐到统一语义空间，首创‘双通路’架构与‘记忆蒸馏’技术，让智能体有终身记忆能力，在多模态任务中表现出色。

多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。

本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。

自2025年1月“DeepSeek时刻”，中国开源社区有历史性进展，讨论焦点从模型转向架构与硬件选择。技术架构多元，多模态能力扩展，开源许可宽松，小模型走红，本土硬件采用加快。

哈工大提出75页多模态推理大模型综述，围绕四阶段发展路线图展开，即感知驱动的模块化推理、以语言为中心的短推理、以语言为中心的长推理、迈向原生多模态推理模型，还给出挑战性基准测试和实验案例见解。

传统级联式推荐架构有瓶颈，快手用OneRec重构推荐链路，服务成本降至1/10。文中介绍OneRec架构、Tokenizer方案、强化学习奖励设计，还提及优化及多模态联合训练方向。