搜索：视觉语言大模型

「视觉语言大模型」共找到 8107 篇相关文章

轻量高效，即插即用：Video-RAG为长视频理解带来新范式

现有视觉语言模型处理长视频面临诸多难题，厦门大学等联合提出轻量高效、无需微调的 Video-RAG 框架，采用多模态辅助文本检索增强生成，解决长视频理解问题，适用于多场景。

丰田研究院和清华大学发布教程，用大量数据训练89个策略模型并验证。聚焦Co - training，研究五大模态、三种策略，对比不同架构，揭示有效和无效模态，还探讨CoT推理及多方面实验。

在人工智能领域，‘用文本思考’和‘用图像思考’存在局限。复旦大学等团队提出‘用视频思考’范式，通过视频生成模型统一文本与视觉推理，构建VideoThinkBench基准测试Sora - 2，全面解读这一开创性工作。

近年来，基于大语言模型的智能代理成为热点，自进化代理可自我改进。但论文指出其进化可能“跑偏”，出现“错误进化”，并揭示了不同进化路径的风险，还提出缓解策略，呼吁重视其安全性。

面壁提出基于扩散自回归建模的端到端语音生成模型 VoxCPM，构建于 MiniCPM - 4 之上。它克服传统离散 token 方法缺陷，实现语义与声学特征解耦，有上下文感知语音生成和零样本语音克隆能力，低延迟。

当前主流相机可控图像编辑基于图像扩散模型，应对连续相机运动易出现问题。近日，浙大联合哈佛发布UniGeo框架，在三核心层面注入统一几何引导，克服结构退化，提升视觉质量与跨视角一致性。

传统video dubbing技术有局限，新兴模型也有问题。美团视觉智能部研发的InfiniteTalk引入‘稀疏帧video dubbing’，实现口型、表情、肢体与音频自然对齐，解决长视频生成难题，技术已开源。

网友发现把Fable 5上下文转成图片，让模型通过OCR读取，token输入成本最多省70%。方法pxpipe在GitHub获3000+STAR，本质是本地代理，还引出谷歌老论文及DeepSeek - OCR相关技术。

今天给大家安利GitHub上开源神器Voice - Pro，它原本是商业付费软件，因团队无暇管理而开源。整合多个先进语音模型，将视频处理流程打包成本地软件，免费且功能强大。

Argos Translate是用Python写的开源离线翻译引擎，底层靠OpenNMT，推理用CTranslate2。可当库、命令行、桌面软件用，模型是本地zip包，不联网也能用。支持主流及小众语言，有多种使用方式。