「评估工具」共找到 2519 篇相关文章
真实科研水平集体不及格！全新基准SFE给主流多模态LLM来了波暴击
上海人工智能实验室AI4S团队推出SFE评测基准，首创三级评估体系，涵盖五大科学领域66项任务。评测显示主流MLLMs在高阶科学任务有挑战，不同模型、学科表现有差异，还构建了SciPrismaX平台推动AI科学评估生态发展。
一文读懂深度表格数据表示学习 | 南京大学
南京大学团队系统介绍表格表示学习领域，将现有方法按泛化能力分三类，比较DNN与树模型优劣，剖析核心挑战，探讨扩展方向及数据集评估策略，旨在建跨数据集稳健评估体系。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取，复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估，还列举多种推理示例，并测评了Qwen2.5 - VL - 7B模型。
谷歌发布 Gemma Scope 2，深化对 LLM 行为的理解
Gemma Scope 2 是谷歌推出的解释 Gemini 3 模型行为的工具，结合稀疏自编码器和转码器，能让研究人员检查模型内部表示。它从多方面扩展了原先的 Gemma Scope，还引入针对聊天机器人的分析工具，已发布权重。
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
通用Agent长啥样
视频探讨大厂做基于命令行编程工具的原因，介绍命令行Agent，剖析其等于庞大工具生态、经典Unix组合哲学与现代AI调度能力，指出通用Agent骨架由AI大脑、命令行身躯和MCP感官构成。
MCP实战｜从0到1构建异步 DeepResearch 工具，支持进度推送与超时控制
本文借助开源项目，构建可在MCP Server中异步运行的DeepResearch，支持任务进度推送与超时控制。介绍项目架构、构建步骤、任务管理器实现要点及效果测试，还提及优化方向并给出源码。
Claude悄悄更新了Skills生成器，这绝对是一次史诗级升级。
Anthropic的Claude悄悄更新了Skills生成器Skill - creator，此次是史诗级升级，新增评估系统、基准测试、多代理并行测试、描述调优等4个全新能力，还演示了其使用方法和效果，建议更新并优化评估所有Skills。
亚马逊云科技 AI 助手终于来了，一出手就对标 Cowork
亚马逊云科技推出 AI 助手 Amazon Quick，对标 Claude Cowork。它是 AI 驱动的桌面办公助手，可通过自然语言完成多项办公任务，还能连接多种办公工具，在国内使用体验好，体现了 AI 办公从‘工具增强’走向‘流程重构’。