搜索：多模态处理能力

「多模态处理能力」共找到 4454 篇相关文章

重磅！DeepSeek再开源：视觉即压缩，100个token干翻7000个

DeepSeek-OCR模型探索视觉-文本压缩边界，用少量视觉token解码出10倍以上文本信息。它在OmniDocBench基准上表现超GOT-OCR2.0，为LLM长上下文问题提供方案，还能处理多类图像与近100种语言。

新一年秋招季，岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS，博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程，助零基础者上手，还介绍环境搭建、代码和训练前后效果对比。

文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。

Meta发布V-JEPA 2世界模型及三个新基准测试，Meta首席AI科学家Yann LeCun介绍其不同。V-JEPA 2基于视频训练，用62小时机器人数据就能实现零样本控制，还将探索分层式模型和多模态建模。

AI科技评论独家获悉，CMU博士、UCSD助理教授黄碧薇创立上海原识之智科技有限公司，切入具身智能基础层相关的因果推理方向。当下大语言模型在符号世界表现出色，而机器人缺乏因果推理能力，原识之智项目已获顺为资本早期投资。

视觉 - 语言 - 动作（VLA）模型“观测 - 生成 - 执行”串行模式致交互卡顿，清华与联想合作提出StreamingVLA框架，引入两项技术实现并行处理，在测试中显著提升效率和流畅度，为VLA模型部署提供新方案。

上海AI Lab的SIM1研究实现布料物理性质真实再现，解决仿真数据与真实场景对齐问题。它提出real - to - sim - to - real新范式，通过闭环流程生成数据，能扩展轨迹、提升泛化能力，有望重新定义机器人数据天花板。

中科院与字节联合提出「GAR」，为构建自然图像的Dense Caption提供新思路。GAR具备精准描述、关系建模和组合推理能力，通过引入新组件，兼顾细粒度与全局上下文，在多测试集表现优异，且代码等已开源。

作者分享豆包新上线的视觉推理功能，在PC和手机场景使用体验良好。通过ChinaJoy图片、德爷相关图片、表情包等实例展示其推理能力，虽有软肋但很实用，还免费，体现出与其他工具的差距。

在大模型与RAG技术发展下，结构化数据愈发重要。飞桨团队打造PP - StructureV3并随PaddleOCR3.0全面开源，它能将文档精准转为结构化文件，有精度高、能力多等优势，还介绍了使用方式。