搜索：跨模态表征 - AI Reading Hub

「跨模态表征」共找到 135 篇相关文章

视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

计算机视觉领域传统表征方法在视频处理上力不从心，SGIT AI Lab等机构团队提出FlowRVS，跳出传统桎梏，用生成式流匹配重构视觉感知范式，实现SOTA提升，还展现诸多优势，证明Flow Matching理论普适性。

香港科技大学谭平教授团队与地平线团队发布3D场景表征与大规模重建新方法SAIL - Recon，突破现有模型处理能力瓶颈，可实现万帧级场景表征抽取与定位重建，在多数据集上表现优于现有方法。

本文深入解读“世界模型”，虽无明确定义，但从目的出发分为表征和生成两类。前者含生物大脑、视觉和语言中心预测；后者有基于规则模拟和数据驱动生成。还探讨LLM是否为世界模型，指出各类模型相辅相成。

北航等机构研究提出自回归奖励引导表征编辑（ARGRE）框架，在LLM潜在表征空间可视化毒性变化路径，实现测试阶段高效“解毒”。实验显示其降低毒性、缩短推理时间，不影响模型能力，优于基线方法。

终身行人重识别有重要应用价值，但现有方法在学习特定模态新知识时，会阻碍跨模态公共旧知识保留。北大彭宇新团队提出CKDA方法，解耦并净化不同模态信息，实现跨模态知识权衡，在相关基准上取得最优性能。

深度跃迁发布世界动作模型 DELE - w0.5，放弃基于视频生成模型的路线，训练时联合学习动作与未来世界表征，推理时移除该表征分支。在真机实验中表现超基线，具跨背景泛化能力，为世界模型提供新思路。

文章围绕多模态推荐展开，从传统推荐算法演进到多模态表征技术，结合饿了么场景实践，还探索生成式推荐。介绍多模态推荐挑战与代表性工作，梳理表征技术发展，详述饿了么系统设计与训练，分析生成式推荐方案及业界路线。

为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。

法国索邦大学研究成果揭开AI创造力从受限领域生成模型中涌现的事实。研究转换视角关注生成过程结构条件，提出含四维度的概念框架解构创造力，通过实验证明多模态约束能催生AI新颖形式。