「多模态统一」共找到 1269 篇相关文章
上海AI实验室发布 Intern Lumina U2：全离散扩散建模，让模型既能“看懂”也能“生成”
上海人工智能实验室发布新一代多模态统一模型 Intern Lumina U2，基于全离散扩散建模路线，支持多任务，适配两大硬件生态，在昇腾千卡级集群训练效率提升 1.85 倍，性能优异且将开放资源。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
当Ilya断言大模型未来在于架构创新时，中国团队推出全球首个可大规模落地的开源原生多模态架构NEO。它颠覆传统拼接模式，从根上融合视觉与语言，以简洁架构证明架构聪明才是下一代AI竞争力。
登上NeurIPS，Genesis开创无需OCC引导的多模态生成新范式，在视频与激光雷达指标上达到SOTA水平
华中科技大学与小米汽车提出多模态图像 - 点云联合生成框架Genesis，采用两阶段架构和DataCrafter模块。在nuScenes数据集实验显示，其在视频与激光雷达指标达SOTA水平，还提升了下游感知任务效果。
24小时直播，只靠一张照片？虎牙实时多模态数字人VAM 1.0率先突围行业三堵墙
虎牙推出实时多模态数字人VAM 1.0，只需一张照片就能转化成能说会唱、可实时互动的数字人。它解决了AI数字人行业的时间、交互、部署三堵墙，稳定性、交互精度和响应速度表现出色，应用场景广泛。
多模态大模型不会画辅助线？最新评估得分：o3仅25.8%，远低于人类82.3% | 清华腾讯斯坦福联合
清华、腾讯、斯坦福等团队发布RBench - V基准测试，评估大模型视觉推理能力。结果显示，主流大模型如o3、Gemini2.5等准确率远低于人类，开源模型表现更差，暴露出大模型在复杂多模态推理任务中能力不足。
CJA | 中国航天气动院冯亦葳、许亮等：符号回归启发的可压缩流场结构智能识别：基于局部对流特征分布的统一理论框架
目前流场结构识别方法有局限，传统经验法依赖阈值，深度学习法可解释性与泛化能力不足。本研究从流体控制方程出发，用符号回归建立统一流场结构分类框架，能准确识别复杂流动结构。
产业级 Agent 如何破局？百度吴健民：通用模型难“通吃”，垂直场景才是出路
InfoQ 采访百度吴健民探讨产业级 Agent 破局点。他指出 Agentic 模型训练卡点在真实环境复刻；通用模型难“通吃”，垂直场景定制模型是关键；多模态未实现统一建模，分开优化效果更好。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。