搜索：视觉 - 语言模型

「视觉 - 语言模型」共找到 7997 篇相关文章

Meta超级智能实验室又发论文，模型混一混，性能直接SOTA

大语言模型训练依赖算力和时间，传统模型 Souping 多采用均匀平均。Meta 等研究者提出类专家 Soup（SoCE），利用基准测试类别构成选最优模型，非均匀加权平均，实验显示其提升了模型效果与稳健性，在排行榜获 SOTA 成绩。

本文基于年中报告指出，当前模型API支出翻倍，企业重心转向模型推理。Anthropic市场份额超OpenAI，开源模型企业采用率下降。代码生成成热门场景，企业换模型重性能，AI支出从训练转推理。

近期，RAE 提出以「冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。

Omni - LLM计算浪费严重，快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系，通过时空联合剪枝压缩视频、视觉引导筛选音频Token，大幅减少Token数量，提升性能和推理效率。

Meta研究团队开源Omnilingual ASR，能理解1600种语言，用几条语音 - 文本配对样本就能零样本扩展新语种。提供三种架构，满足不同需求，性能超现有多语种模型，应用场景广泛。

本文是对IDEA研究院张磊的深度访谈。张磊在计算机视觉领域成就斐然，他指出具身智能落地需攻克成功率、泛化性等挑战，大脑比本体更关键。还阐述了世界模型概念及应用，定义其应具备动作依赖等内容。

浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

Meta提出语言自我博弈（LSP）方法，利用自我博弈框架让模型自我改进，不依赖额外数据。LSP赋予模型挑战者和解题者身份，引入GRPO和KL散度正则化技术，解决了大模型训练的数据依赖难题。

IEEE/CVF 计算机视觉与模式识别会议 CVPR 2026 6月3 - 7日在美国丹佛举办，期间6月3或4日将举办第六届对抗机器学习计算机视觉研讨会，聚焦视觉 - 语言智能体安全，现开启论文征稿并公布重要日期，给出投稿入口。