搜索：多模态混合检索

「多模态混合检索」共找到 1344 篇相关文章

如何利用pytorch memory snapshot进行显存分析

文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。

常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。

随着AI发展，架构从单体到分布式演进，消息中间件成关键。Pulsar以存算分离等特性价值凸显，在多模态训练、模型训练、智能体等AI场景有独特优势，如处理超大消息、实现断点续训等。

谷歌推出免费 Vibe Coding 工具，集成多种 AI 功能。谷歌 AI Studio 的 Built 模式更新，能混合匹配 AI 功能，自动连接模型和 API。用户无需了解 API 文档，可快速做出 MVP，谷歌 AI API 免费（限速）。

CVPR 2025落下帷幕，中国企业参与规模创纪录，腾讯40+篇接收论文亮眼。多模态、3D生成是热门方向，高斯泼溅技术成亮点。企业探讨主题拓展至产业应用，腾讯投入大，借顶会展示实力、吸引人才。

文章指出传统表征学习处理图片和商品信息时存在局限，针对性有监督训练成本高，多模态大模型使用成本也需考虑。为此提出即插即用的条件表征学习方法 CRL，实验显示其在下游任务表现优异。

文章深入探讨RAG技术实现与优化，指出其在AI应用开发中常被当黑盒，从文档分块、索引增强、编码、混合检索到重排序等关键环节解析，强调结合场景调优以提升召回与精确率。

GitHub上的项目codex-vision-proxy让接进Codex的DeepSeek能看图，不用换模型或等官方，装本地代理即可。它还附带视觉工具包，在智能文档解析和OCR上潜力大，证明多模态能力可长在管道上。

前小米OS高管董红光创立光帆科技，他认为AI将重塑消费电子行业，未来交互是“需求式”和“多模态”的，手机或不再是最适配设备，穿戴设备或先变革，未来多设备联动由AI大脑调度。

在视觉语言模型取得突破的当下，长视频理解挑战凸显。蚂蚁和人大团队提出视觉语言大模型ViLAMP，采用‘混合精度’策略，在多基准测试中超越现有方案，单卡可处理3小时视频，为实际应用带来新可能。