搜索：多模态语言模型

「多模态语言模型」共找到 8304 篇相关文章

单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器

人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。

12月快手旗下可灵发布全球首个统一多模态视频大模型Kling O1，标志AI视频进入“全流程语义控制时代”。它将多种视频创作能力统一，有全能引擎等五大亮点，性能对比优势明显，让AI视频生成更可控。

DreamPRM由加州大学圣地亚哥分校团队开发，在MathVista测评榜夺冠。它通过双层优化框架解决多模态过程奖励模型训练难题，能与多模态大模型集成，提升推理能力，实验效果显著。

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。

中科院自动化所、清华和GigaAI联合发布视觉 - 语言 - 行动模型VLA - R1，让机器人先思考再行动。它通过构建数据集教模型思维链，结合监督微调与强化学习提升性能，经多场景测试表现出色。

多模态奖励模型对提升多模态大语言模型表现至关重要，但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward，解决训练不稳定等问题，在基准上超SOTA模型，还在快手业务场景成功应用。

空间推理是多模态大语言模型（MLLMs）应用关键挑战，当前‘语言描述式调优’让模型成‘视觉文盲’。多校联合提出MILO范式，结合视觉生成反馈与语言调优，还构建GeoGen数据集，经五大任务验证其有效。

智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。

作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。