「原生多模态架构」共找到 2908 篇相关文章
彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器
商汤科技联合南洋理工大学发布NEO - unify，这是“原生、统一、端到端”多模态模型架构，砍掉VE和VAE，用混合变换器架构打通视觉与语言能力，提升数据与算力利用效率，为跨模态智能系统奠基。
非Transformer架构落地之王，带着离线智能和原生记忆能力在上海WAIC浮出水面
在上海WAIC现场，RockAI展台的机器狗和灵巧手在离线状态表现出色，背后是其非Transformer架构的大模型Yan 2.0 Preview，有原生记忆和离线智能能力。该公司成立两年，押注此架构，产品已商业落地，还构想群体智能未来。
为什么开发者放弃框架而选择原生 JavaScript
前端开发者正在回归原生 JavaScript。原生 API 和 AI 工具使其成为框架疲劳的解药，成熟的 API、性能考量、AI 助力、微前端与无构建架构兴起等因素促使开发者做此选择。
通过架构建议流程实现架构决策的去中心化
Andrew Harmel - Law 在 Goto 大会提出架构建议流程，认为传统架构实践不可扩展，架构需去中心化。该流程让任何人可做决策，只需向受影响者和专家寻求建议，还提到失效模式及实践转变。
开源SOTA！商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。
Emu3.5：能够原生预测下一状态的多模态世界模型，媲美Nano Banana
北京智源研究院推出多模态世界模型Emu3.5，能原生预测视觉和语言下一状态。用超10万亿token数据预训练，后经强化学习训练。团队提出DiDA提升推理效率，其性能媲美Nano Banana，项目已开源。
国产王炸！上海AI Lab开源Lumina-DiMOO，开创多模态理解与生成新范式
上海人工智能实验室等多机构推出多模态生成与理解统一模型Lumina - DiMOO，采用全离散扩散架构。它解决传统多模态架构问题，有全离散扩散建模等四大创新，性能在多基准测试中领先，应用前景广。
视觉思维链全新架构，加州大学让多模态大模型有了灵性，整体性能提升5.3%
加州大学伯克利分校等团队提出视觉思维链（CoVT）架构，让视觉语言模型推理时生成连续视觉信号。它内化轻量级专家能力，采用对齐策略和四阶段训练，实验显示性能提升，还具可解释性。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
刚刚，HiDream-O1-World首秀登顶，原生全模态UiT架构打造「可交互时代」
过去三年，AI 内容生成行业虽有技术迭代，但用户与模型交互仍单向。智象未来发布全球首款原生全模态交互式世界模型 HiDream - O1 - World，它基于 UiT 架构，在评测中表现出色，解决两大行业难题，应用前景广。