「跨模态表征」共找到 135 篇相关文章
充分激发模态协作，MokA量身打造MLLM微调新范式
当下多模态大模型微调多「照搬」单模态微调策略，忽视模态差异。中国人民大学和上海人工智能实验室团队提出 MokA 方法，兼顾单模态与跨模态建模，在多基座、多场景实验中显著提升性能。
谢赛宁REPA得到大幅改进，只需不到4行代码
Adobe Research等团队对REPA展开研究，发现驱动目标表征生成性能的是空间结构而非全局性能。基于此构建iREPA，代码不到4行，能提升REPA收敛速度，在多方面表现出色。
NeurIPS 2025｜VFMTok: Visual Foundation Models驱动的Tokenizer时代来临
传统视觉 Tokenizer 存在缺乏高层语义信息、冗余度高、表征混乱等问题。香港大学 CVMI Lab 和阶跃星辰 AIGC 团队提出 VFMTok，用预训练视觉基础模型构造视觉 Tokenizer，实验显示其性能优异。
Qwen3新成员：Embedding系列模型登场！
今天正式发布Qwen3-Embedding系列模型，专为文本表征等任务设计，继承Qwen3多语言理解优势。在多项基准测试表现卓越，已在多平台开源，有卓越泛化性、灵活架构与多语言支持等特点。
代码检索新王登基！CodeFuse ｜ 开源C2LLM，用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型，基于注意力创新池化机制解决代码表征痛点，登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员，将全套回馈社区，为代码大模型研发提供基线。
耶鲁等团队联合发布首个虚拟细胞Agent，可自动设计出先进的模型
耶鲁等团队发布首个多智能体系统CellForge，可自动化设计虚拟细胞模型。它能输出模型架构和代码，有跨模态能力，性能超多个领域代表性模型，可降低科研门槛，加速药物研发。
关于多模态大模型Token压缩技术进展，看这一篇就够了
多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。
大模型“精细化”对齐，真实性提升25.8%刷新SOTA！token级精准编辑，无需训练即插即用
北航团队在EMNLP 2025提出Token - Aware Editing (TAE)方法，从token层面解决传统表征编辑技术问题，无需训练、即插即用，在多个对齐维度显著提升，如在TruthfulQA任务上真实性指标提升25.8%。
港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型
香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。