「评估机制」共找到 1531 篇相关文章
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
2026年必须搞懂的20个 Agent 工程概念（运行机制篇）：大白话一次讲清。
文章聚焦Agent工程运行机制，介绍20个核心概念。如Agent与ChatBot区别在于会‘做’；Harness是模型运行框架；Execution Model决定思考行动范式等，还给出各概念工程实践建议。
Claude悄悄更新了Skills生成器，这绝对是一次史诗级升级。
Anthropic的Claude悄悄更新了Skills生成器Skill - creator，此次是史诗级升级，新增评估系统、基准测试、多代理并行测试、描述调优等4个全新能力，还演示了其使用方法和效果，建议更新并优化评估所有Skills。
从 ReasoningBank 到 MetaAgent，RL 未必是 Agent 自进化的必要解？
业内对智能体自进化的探讨开启多路线探索模式。除 RL 优化，记忆系统改进成新方向，如 ReasoningBank 机制。此外，业内还从智能体自我识别、工具和策略辅助等机制探索其他技术路线。
GPT-5得分不到0.4！法律+金融最大规模基准：1.9万+专家评估准则
新推出的PRBench基准可测AI在金融和法律领域表现。它有19356条专家评估准则，是该领域最大公开基准。顶尖大模型在困难子集得分低，还独创经济路径分析维度，约30%任务为多轮对话，揭示了AI在专业领域的不足。
浙大推出首个「多图应用题」基准GSM8K-V，全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V，将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面，经三阶段构建。实验显示，现有视觉语言模型在视觉推理上短板明显，为模型发展指明方向。
给文档质量"打分"：DIQA-5000 数据集与融合版面语义的 DocIQ 质量评估模型
文档图像质量评估（DIQA）是评判‘增强算法有没有把图变好’的关键工具。过去研究多围绕自然图像，缺文档专用数据集。本文提出DIQA - 5000数据集和DocIQ模型，补齐缺口。
73%人类认同率！Video-Bench实现视频质量精准打分
上海交大等团队提出视频评估框架Video - Bench，让多模态大模型‘像人一样评判视频’。它构建双维度评估框架，引入链式查询和少样本评分技术，与人类判断73%高相关，为视频生成模型优化提供标尺。
揭秘大模型Steering：从底层机理到系统评估，全面破解大模型行为控制之谜
近期《Science》研究表明可解析AI内部表征实现通用引导与监控。浙大联合阿里两篇ACL 2026主会论文，揭示Steering工作原理与能力边界，还开源一站式框架EasyEdit2，全面展示了Steering价值。
DeepSeek V3.2爆火，Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因，即采用交错思维链机制。还对比了其与早期ReAct范式，介绍其效果、原理，以及MiniMax为落地该机制做的工作，最后提到多家模型达成技术共识。