「多模态技能」共找到 1236 篇相关文章
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
pdf2skill：让计算机视觉初学者把PDF文档变成AI技能包
pdf2skill技术是“文档转技能编译器”，能将PDF知识转化为AI可调用技能包。它解决了计算机视觉研究和工程中的痛点，介绍了原理、实战案例、代码实现，还对比性能、给出使用指南。
数据邪修大法好：仅用文本数据就能预训练多模态大模型
多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。
将DSA注意力引入多模态，快手Keye2.0开启强化推理新范式
快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。
别错过，Clawdbot（Moltbot、OpenClaw）爆火之后，我找到啦 700+ 的技能包～～～
awesome-openclaw-skills是VoltAgent在GitHub维护的「OpenClaw Skills精选清单」，收录700+社区构建的OpenClaw技能，按场景分类，方便安装使用。还介绍了安装方法和技能分类。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
Skill Factory：三天手搓面向Harness设计的技能工厂（附AI coding实践）
作者分享从产品设计到算法落地全流程实践，指出当前做skill两种方式的问题，介绍面向Harness设计的技能工厂，包括生产模式、生态适配、迭代方向，还提及AI coding实践及各工具作用。
国产王炸！上海AI Lab开源Lumina-DiMOO，开创多模态理解与生成新范式
上海人工智能实验室等多机构推出多模态生成与理解统一模型Lumina - DiMOO，采用全离散扩散架构。它解决传统多模态架构问题，有全离散扩散建模等四大创新，性能在多基准测试中领先，应用前景广。
字节全球首发AI技能商店：一句话生成Coze Skills，你的经验直接卖钱
在全球AI共识下，Agent Skill成新战场。字节扣子此次升级，推出Skill、长期任务，还全球首上线技能商店。Coze Skill可封装经验，长期任务能拆解目标，技能商店能让经验变现。此外还推出视频Agent SKill。