过程评估」共找到 1016 篇相关文章

算法论文8

HaluMem:让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准

过去一年,AI Agent的‘记忆能力’成热门话题,但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem,它能精准定位幻觉来源,评估主流记忆系统,为构建可靠记忆系统提供方向。

PaperAgent
产品应用8

Claude悄悄更新了Skills生成器,这绝对是一次史诗级升级。

Anthropic的Claude悄悄更新了Skills生成器Skill - creator,此次是史诗级升级,新增评估系统、基准测试、多代理并行测试、描述调优等4个全新能力,还演示了其使用方法和效果,建议更新并优化评估所有Skills。

数字生命卡兹克
开源动态7

GPT-5得分不到0.4!法律+金融最大规模基准:1.9万+专家评估准则

新推出的PRBench基准可测AI在金融和法律领域表现。它有19356条专家评估准则,是该领域最大公开基准。顶尖大模型在困难子集得分低,还独创经济路径分析维度,约30%任务为多轮对话,揭示了AI在专业领域的不足。

新智元
算法论文8

浙大推出首个「多图应用题」基准GSM8K-V,全面评估 VLM数学推理能力

浙江大学团队推出视觉数学推理基准GSM8K-V,将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面,经三阶段构建。实验显示,现有视觉语言模型在视觉推理上短板明显,为模型发展指明方向。

新智元
算法论文8

给文档质量"打分":DIQA-5000 数据集与融合版面语义的 DocIQ 质量评估模型

文档图像质量评估(DIQA)是评判‘增强算法有没有把图变好’的关键工具。过去研究多围绕自然图像,缺文档专用数据集。本文提出DIQA - 5000数据集和DocIQ模型,补齐缺口。

机器学习AI算法工程
算法论文8

73%人类认同率!Video-Bench实现视频质量精准打分

上海交大等团队提出视频评估框架Video - Bench,让多模态大模型‘像人一样评判视频’。它构建双维度评估框架,引入链式查询和少样本评分技术,与人类判断73%高相关,为视频生成模型优化提供标尺。

深度学习自然语言处理
推荐文章8

揭秘大模型Steering:从底层机理到系统评估,全面破解大模型行为控制之谜

近期《Science》研究表明可解析AI内部表征实现通用引导与监控。浙大联合阿里两篇ACL 2026主会论文,揭示Steering工作原理与能力边界,还开源一站式框架EasyEdit2,全面展示了Steering价值。

机器之心
产品应用8

AI体育教练来了!中国团队打造SportsGPT,完成从数值评估到专业指导的智能转身

现有智能体育系统多停于‘打分+可视化’,通用大模型处理体育生物力学分析有局限。中国团队提出SportsGPT框架,实现从‘动作评估’到‘训练处方’智能闭环,各模块优势明显,超越基线。

量子位
算法论文8

攻克AI过度思考难题!美团新研究让通过“可验证”过程奖励激活LRM的高效推理

美团等机构研究团队针对LRM“过度思考”问题,提出可验证的过程奖励机制(VSRM)。它结合可验证奖励与步骤级奖励,为推理步骤分配奖励信号。实验显示其能降低输出长度并保持性能。

量子位
开源动态8

大模型结构化推理优势难复制到垂直领域!最新法律AI评估标准来了,抱抱脸评测集趋势第一

多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam,它含4886道题,每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难,LEXam引入评估新模式,还对不同模型做了测试。

量子位