搜索：多模态能力 - AI Reading Hub

「多模态能力」共找到 3749 篇相关文章

数据邪修大法好：仅用文本数据就能预训练多模态大模型

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

传统多模态模型在动态视频理解与复杂推理场景面临挑战，快手开源的 Keye-VL 模型在多模态思维链技术实现突破。文章解析其核心技术，分享在快手短视频社区的落地应用，还探讨了未来“Think with Video”的技术方向。

过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。

人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。

如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。

在AICon全球人工智能开发与应用大会上，IDEA研究院张磊接受专访，剖析多模态智能体落地路径，分享平衡研究与产品的见解，还为年轻人在AI浪潮中发展给出建议，指出底层系统能力是关键。

Anthropic突然发布Claude Opus 4.7，重点提升软件工程能力，视觉能力也大幅跃升。指令遵循能力实质性提升，记忆能力改善。还同步上线新功能，升级前需关注分词器和token输出变化。

多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。

滑铁卢大学与快手可灵团队提出 UniVideo，是支持视频理解、生成与编辑的多模态模型。它采用双流架构，结合 MLLM 与 MM - DiT 能力，统一 10 个多模态任务，在多项基准超现有方法，代码已开源。

耶鲁、复旦等推出MMSciBench评测基准，揭示主流模型复杂科学推理短板。它有高质量数据、多模态多题型测试和精细知识分类体系。测试发现模型图文融合及推理能力弱，英文推理或效果更好。