「多模态数据集」共找到 3311 篇相关文章
超越英伟达Describe Anything！中科院 & 字节联合提出「GAR」，为DeepSeek-OCR添砖加瓦
中科院与字节联合提出「GAR」，为构建自然图像的Dense Caption提供新思路。GAR具备精准描述、关系建模和组合推理能力，通过引入新组件，兼顾细粒度与全局上下文，在多测试集表现优异，且代码等已开源。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
PaddleOCR3.0全面开源！文档解析PP-StructureV3：PDF秒变高质量结构化文件！
在大模型与RAG技术发展下，结构化数据愈发重要。飞桨团队打造PP - StructureV3并随PaddleOCR3.0全面开源，它能将文档精准转为结构化文件，有精度高、能力多等优势，还介绍了使用方式。
Karpathy 亲手终结了RAG的草莽时代
Andrej Karpathy分享“LLM Wiki”工作流，将多数Token用于构建“可演化知识库”。此方法不依赖复杂架构，在中等规模数据集上展现出强大能力，引发“LLM Wiki杀死RAG”的讨论，在技术社区和企业级市场反响热烈。
视频模型也能推理，Sora2推理能力超过GPT-5
DeepWisdom团队研究发现视频生成模型能推理，在空间类任务上比图文模型更擅长。团队推出VR - Bench基准测试，构建客观评分体系。实验显示视频模型在空间推理有优势，相关代码和数据集已开源。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
北大、字节跳动联手发布SWE-Swiss：一把修复代码Bug的「瑞士军刀」，完整配方直指开源SOTA
北大、字节跳动等联合研究提出SWE - Swiss配方，用于训练解决软件工程问题的AI模型。32B参数的SWE - Swiss - 32B在SWE - bench Verified上准确率达60.2%，各训练环节效果显著，模型和数据将开源。
全模态RAG突破文本局限，港大构建跨模态一体化系统
香港大学黄超教授团队开源多模态智能处理系统RAG - Anything，突破传统RAG技术单一文本局限，整合多模态文档解析等核心能力，解决现有RAG系统痛点，具备多方面技术亮点，有便捷部署方式和多场景应用模式。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
40位数学家组成8队与o4-mini-medium比赛，6队败北
Epoch AI安排40位数学家组成8支战队，与OpenAI的o4 - mini - medium模型对决，考题来自高难度的FrontierMath数据集。结果AI以6:2击败人类，不过Epoch AI认为AI未明显超人类，但很快会达到。