搜索：多模态信息 - AI Reading Hub

「多模态信息」共找到 1527 篇相关文章

比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临

近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。

现有扩散模型缺乏多模态推理创作能力，在算力和数据不充裕时实现该功能是难题。ICML2025上，港科联合SnapResearch提出ThinkDiff，以较少资源让扩散模型有思考能力，开辟多模态理解生成新路径。

OpenAI前CTO Mira Murati创立的Thinking Machines Lab获20亿美元融资，估值达120亿美元。未来几个月将发布首个多模态AI产品，还会开源部分组件，团队全力构建多模态AI以增强人类能力。

‘Agent元年’进程过半，Agent卡在‘信息断层’瓶颈。百度智能云千帆平台开放百度AI搜索能力，补上Agent实时信息短板。同步登场的千帆4.0多维升级，聚合150+精选模型服务，构建企业级Agent有四大关键要素。

多模态有害信息检测是网络内容安全治理的重难点，多模态模型在有害内容检测上有瓶颈。剑桥大学团队提出RA - HMD框架，通过两阶段微调与结构增强，结合检索增强，提升检测性能，被EMNLP 2025接收。

上海交大等机构团队在ICML 2025提出预测一致性学习（PCL），通过扩散过程消减标签信息，引入噪声标签，将标签学习分解为渐进式任务，实现标签信息复用。在多模态任务实验中，PCL表现优于传统监督学习。

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

5月22日凌晨OpenAI宣布前苹果设计师Jony Ive加入领导AI硬件部门，宣传一个月后官网等删除其所有信息，引发猜想。有版权问题、被Meta挖角两传言，此前OpenAI 64亿美元收购其初创公司。

文章指出AI时代信息不再稀缺，获取成本趋近于零，差距源于脑中的“解码与决策系统”，并将该系统拆解为解码、决策、执行三层，分析每层造成差距的原因。

InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。