搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1766 篇相关文章

抖音SAIL团队联合港中文MMLab推出SAIL-Embedding：打通「视、文、音」的全模态嵌入

字节跳动抖音SAIL团队联合港中文MMLab提出SAIL - Embedding，专为大规模推荐场景设计，实现视、文、音统一表征，解决传统多模态模型局限，在抖音业务场景效果显著，相关技术报告已公开。

文章介绍阿里RecGPT推荐系统落地方案，包括召回和推荐可解释性两方向。召回采用三塔结构，通过挖掘用户兴趣生成商品标签提升召回多样性。还提及行为序列压缩、推荐归因等，以及大模型微调和评估方法。

2023年Meta推出SAM，后SAM 2扩展到视频分割。近日，SAM 3现身ICLR 2026盲审论文，带来「基于概念的分割」新范式，强调按「语义概念」理解和分割图像，还构建数据引擎提升性能。

加州大学圣地亚哥分校团队开发的DreamPRM-1.5在MMMU测评榜夺冠，超越GPT-5、Gemini 2.5 Pro Deep-Think。它细化加权粒度到样本，有Instance Table和Instance Net架构，采用双层优化与生成式奖励模型。

腾讯混元团队开源PromptEnhancer框架，通过“思维链提示重写”提升AI绘画文本 - 图像对齐精度，复杂场景准确率提升17%以上。还开源高质量基准测试数据集，为研究提供支撑。

Meta发布全新开源视觉模型DINOv3，首次证明自监督学习模型能在广泛任务中超越弱监督学习模型。它用无标注方法，扩展数据和模型规模，支持标注稀缺场景，在多任务实现SOTA。

首个开源多模态Deep Research Agent登场，整合多种工具并优化决策。其WebWatcher技术方案覆盖全链路，实验中在四大核心领域领先主流模型，展现复杂推理和信息检索实力。

本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。

本周国产开源LLM集中爆发，Qwen、华为盘古、腾讯混元、小米等接连发布模型。如Qwen3 - 4B性能提升，Qwen - Image文生图能力强；华为开源盘古模型并宣布CANN开源；腾讯混元小尺寸模型特点多且已落地业务。

本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。