搜索：通用视觉语言

「通用视觉语言」共找到 2219 篇相关文章

JinaVDR: 一个图文混排文档搜索任务的基准集

现有文档检索基准大多只考虑纯文本，难以处理含图表等视觉信息的文档。JinaVDR 应运而生，它是图文混排文档搜索基准集，含多语言、多领域数据，可评估模型在复杂视觉文档的检索性能。

近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。

上海人工智能实验室发布开源的 Science Context Protocol (SCP)，它能连接 AI 智能体与多设备进行自动化科学探究。相比 MCP，其结构更安全，可管理模拟和实体实验，促进跨学科合作。

视频探讨大厂做基于命令行编程工具的原因，介绍命令行Agent，剖析其等于庞大工具生态、经典Unix组合哲学与现代AI调度能力，指出通用Agent骨架由AI大脑、命令行身躯和MCP感官构成。

本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。

小红书人文智能实验室（hi lab）低调开源视觉语言模型dots.vlm1。该模型基于自研视觉编码器构建，在视觉理解和推理任务上接近SOTA水平，实测表现惊艳，还介绍了其技术架构、预训练数据布局等内容。

AI Manus是通用AI Agent系统，支持在沙盒环境运行工具。文中给出使用示例，介绍环境要求、部署与开发指南，推荐用Docker Compose部署，还提及项目地址、交流群等信息。

本周一，英伟达发布新一代机器人专用芯片Jetson Thor，算力是上一代7.5倍，能效3.5倍，内存容量翻倍。适配新算法，支持多种模型，已受大量厂商重视，相关产品已发售或开放预订。

本文是对李飞飞的访谈编译。她指出语言模型在世界理解上有短板，空间智能是关键，还探讨了AI发展历程、世界模型重要性等，介绍其公司产品Marble，强调人人在AI时代都有位置。

作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。