搜索：VLM多模态理解能力

「VLM多模态理解能力」共找到 1578 篇相关文章

我觉得“Agent”这个词，现在终于有了一个大家都认可的定义了

作者Simon Willison认为现在‘Agent’有了大家认可的定义，即一个AI Agent是为实现目标循环调用工具的大语言模型。还分析了此前难统一定义的情况、‘工具循环实现目标’含义，指出不同人群对‘Agent’理解有偏差。

LeCun亲自出镜介绍V-JEPA 2新进展，目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练，有两阶段训练细节，能用于机器人规划，Meta还发布三个基准测试，后续将研究分层和多模态JEPA模型。

OpenAI联合创始人Andrej Karpathy在Sequoia Ascent大会上表示，AI Agent正改变软件与工作模式。编程基本单位从写代码变为给Agent下达指令，软件3.0以上下文窗口为程序，LLM为解释器。他还提出理解AI能力分布的框架，给出创业建议。

全新AI生图模型FLUX.1 Krea [dev]发布，可在Krea Edit免费试用。官方称其“没有AI感，只有自然细节”。实测它在光影和自然细节表现不错，但对形象、时空结构理解待提升，还存在额度使用问题。

2025 年 AI 发展重心转移，高质量数据成新基石。本文解读五大技术趋势，如多语种 TTS 与全双工交互、多模态大模型等，还介绍了各趋势的数据需求及数据堂提供的相应数据服务方案。

本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。

BookRAG专为处理层次化复杂文档而生。传统RAG有两大盲区，而BookRAG在多模态长文档基准上刷新SOTA。它采用BookIndex×Agent - based Retrieval技术方案，效率高、可扩展性强，兼顾高精度、高召回、低成本。

OpenAI Codex团队在活动中称积极用Codex构建产品。文章介绍其7个应用场景，如理解代码、重构迁移等，还有6个使用技巧，像从提问模式开始、组织好提示等，展示了Codex在开发中的强大作用。

文章基于对 OpenAI 工程师的采访和内部使用数据，汇总了 Codex 在 OpenAI 内部的使用案例和最佳实践。展示其在代码理解、重构迁移等七大场景的应用，还给出使用的最佳实践，认为未来潜力大。

18岁华人小哥Eddy Xu的初创公司Build AI开源了有史以来最大的人类为中心数据集Egocentric - 10K，含10亿帧画面，规模是同类的100倍，场景扩展至工厂。不过其缺乏多模态信息，且human - centric路线也有局限。