「联合评估」共找到 1705 篇相关文章
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取，复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估，还列举多种推理示例，并测评了Qwen2.5 - VL - 7B模型。
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
李飞飞 、 英伟达 Jim Fan 、徐丹飞三巨头联合重磅论文，改写灵巧手触觉赛道
近日，李飞飞、英伟达Jim Fan等顶尖学者联合发表论文《T-Rex: Tactile-Reactive Dexterous Manipulation》。指出过去具身行业在灵巧手触觉的探索方向可能错误，目前加触觉会让机器人变笨，但也给出解决方法，真机实测T-Rex表现优异。
Claude悄悄更新了Skills生成器，这绝对是一次史诗级升级。
Anthropic的Claude悄悄更新了Skills生成器Skill - creator，此次是史诗级升级，新增评估系统、基准测试、多代理并行测试、描述调优等4个全新能力，还演示了其使用方法和效果，建议更新并优化评估所有Skills。
GPT-5得分不到0.4！法律+金融最大规模基准：1.9万+专家评估准则
新推出的PRBench基准可测AI在金融和法律领域表现。它有19356条专家评估准则，是该领域最大公开基准。顶尖大模型在困难子集得分低，还独创经济路径分析维度，约30%任务为多轮对话，揭示了AI在专业领域的不足。
浙大推出首个「多图应用题」基准GSM8K-V，全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V，将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面，经三阶段构建。实验显示，现有视觉语言模型在视觉推理上短板明显，为模型发展指明方向。
给文档质量"打分"：DIQA-5000 数据集与融合版面语义的 DocIQ 质量评估模型
文档图像质量评估（DIQA）是评判‘增强算法有没有把图变好’的关键工具。过去研究多围绕自然图像，缺文档专用数据集。本文提出DIQA - 5000数据集和DocIQ模型，补齐缺口。
LabVLA：当AI走进科学实验室，浙大x上海 AI Lab联合探索科学具身智能
浙江大学与上海人工智能实验室联合推出 LabVLA，探索更具泛化能力的科学具身智能范式。团队构建仿真数据引擎 RoboGenesis 与语料 LabEmbodied - Data，LabVLA 在多测试中表现良好，还将探索多场景应用。
73%人类认同率！Video-Bench实现视频质量精准打分
上海交大等团队提出视频评估框架Video - Bench，让多模态大模型‘像人一样评判视频’。它构建双维度评估框架，引入链式查询和少样本评分技术，与人类判断73%高相关，为视频生成模型优化提供标尺。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。