「多模态视觉语言模型」共找到 2249 篇相关文章
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。
让龙虾看懂屏幕！谷歌多模态新成果，文本图像视频音频进同一空间
谷歌发布首个原生多模态嵌入模型Gemini Embedding 2，将文本、图像、视频、音频和文档映射进同一嵌入空间，支持多模态混合输入，为AI Agent“看懂”世界提供关键基础，已展开公测。
tRPC-Agent-Go：构建智能AI应用的Go语言Agent框架
tRPC是腾讯内部覆盖最广的RPC开发框架，tRPC-Go使用最广。2023年起LLM发展迅速，Agent开发框架成重要基础设施。tRPC-Agent-Go集成LLM等，支持创建多种Agent，为开发者提供构建智能应用的完整技术栈。
全面评估多模态模型视频OCR能力，Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型（MLLM）视频OCR能力。构建精细任务体系和高质量数据集，评测18个主流MLLM。即便如Gemini - 2.5 Pro，准确率仅73.7%，暴露出MLLM在视频OCR领域能力局限。
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
RAG终极框架！港大开源RAG-Anything：统一多模态知识图谱
香港大学黄超教授团队发布开源项目RAG - Anything，构建统一多模态知识图谱架构，解决传统RAG技术局限。它能处理多类型异构内容，提供端到端方案，有多种优势及应用模式，还给出部署指南和未来展望。
商汤科技与南洋理工大开源空间智能多模态SOTA模型
商汤科技与南洋理工大学构建800万量级三维空间数据集，训练出开源SOTA多模态基础模型SenseNova - SI系列。该系列模型在多个权威测试中表现出色，部分超越GPT - 5，还展现出泛化等能力，且能赋能具身智能。
NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！
英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。
扩散语言模型写代码！速度比自回归快10倍
Inception Labs推出基于扩散技术的大语言模型Mercury，它突破自回归模型限制，生成速度快，还解决了难以回头调整的问题。实测显示其代码生成速度比传统工具最多快10倍，且有强大纠错能力，但面临与当前CI能力不匹配问题。