搜索：基准测试数据集

「基准测试数据集」共找到 1347 篇相关文章

DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案

DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。

现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。

信息爆炸时代，传统搜索引擎难满足需求，开源Web Agent在极端复杂任务表现不佳。阿里巴巴通义实验室推出WebSailor，通过创新数据构造和训练方法，在BrowseComp等挑战上取得突破，缩小与顶级封闭系统差距。

剑桥大学团队开源面向AI个人助理的长期记忆基准测试ATM - Bench，评估AI面对真实生活数据时能否「记住你」。实验结果不佳，专用和通用智能体系统准确率低，凸显长期个性化记忆问答难题。

普林斯顿大学AI实验室与复旦大学历史学系联手推出全球首个历史领域评测基准HistBench及AI助手HistAgent。HistBench含414道题，能检验AI深度认知能力；HistAgent集成多种工具，在测试中表现优异。

现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。

长期以来主流代码修复评测基准SWE - bench问题多，制约AI模型能力展现。微软发布SWE - bench - Live，引入新Issue，实现环境自动化构建与更新，打破传统局限，还揭示传统基准过拟合问题。

随着合成数据增多，模型需判断数学数据题目能否被信任。北大DCAI团队提出MathDebugger质检BenchMark，覆盖问答两端，评测主流LLM和PRM。还探究能否判断正误、分类错误、修复数据，证明错误标签可作监督信号。

LLM智能体进化为“行动派”，但自主权带来安全问题。现有评估基准缺乏有效精准评估器，研究者推出AgentAuditor框架及ASSEBench基准，让LLM评估器精确度达人类水平，为构建可靠智能体提供工具。

复杂科学文献中公式识别问题重要，但现有模型有局限。DocTron - Formula通过简单微调在多场景达先进水平，还引入CSFormula数据集。它基于Qwen2.5 - VL微调，在多个数据集上效果佳。