「多模态处理」共找到 1791 篇相关文章
抖音&LV-NUS开源多模态新模，以小博大刷新SOTA，8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2，以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新，后经全链路优化，在多数据集验证中表现卓越。
文心快码正式发布 AI IDE，生成超 43% 百度新增代码
6月23日，百度副总裁陈洋发布文心快码独立AI原生开发环境工具Comate AI IDE，这是行业首个多模态、多智能体协同的AI IDE。目前文心快码生成代码占百度每天新增代码超43%，在多方面有显著优势。
SQL玩转多模态AI，轻松搞定图片+文本混合搜索
在AI驱动智能商业时代，传统搜索系统难满足需求，AI检索系统又面临数据搬运和工具链割裂难题。本文提出用原生SQL实现多模态智能检索，基于PolarDB融合AI引擎，通过SQL调用服务，无需迁移数据与搭建独立服务。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
Karpathy用「harness」彻底终结了RAG。
假期时Karpathy提出llm.wiki想法引发关注。它是元框架，定义人类与AI协作管理知识的方式。与RAG不同，它将新材料关键信息编入已有wiki并持续维护。作者用多种数据测试，发现TextIn API解析效果好，还优化处理流程提升质量。
百度Qianfan-VL开源，纯国产自研昆仑芯跑出世界一流
百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。
不吹不黑，GPT-5代码能力究竟怎么样？跟 Gemini 和 Claude 的对比测试给你答案
作者测试了 GPT-5 的代码能力，并与 Gemini 和 Claude 对比。在不同代码任务中，各模型表现不同。如在生成网页任务里，GPT-5 部分结果不错，但受 32K 上下文限制，长文本处理不如 Gemini，硬实力也不如 Claude。
昆仑万维多模态视频生成开源，影音图文全统一
昆仑万维开源的SkyReels-V3，通过统一多模态上下文学习框架，实现参考图像生成视频、视频持续扩展及音频驱动虚拟数字人功能，在视觉质量与指令跟随性上逼近闭源顶尖水平，为开源社区提供强大研究基座。
AI 真能看懂物理世界吗？FysicsWorld：填补全模态交互与物理感知评测的空白
多模态大语言模型正经历范式转变，目标是实现全模态协同交互。但现有评测体系难跟上模型发展。飞捷科思和复旦团队推出 FysicsWorld 基准，可评测模型多能力，还提出 CMCS 策略，为全模态智能发展提供指引。
ICCV2025 | 多视图生成新范式-利用自回归模型探索多视图生成
本文介绍自回归生成多视图图像方法 MVAR，能从先前视图提取引导信息增强一致性，拉近与基于扩散方法的图像质量差距。解决了多模态条件控制和数据有限问题，展示出强指令遵从与多视角一致性。