「质量评估」共找到 1289 篇相关文章
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
一篇19种自进化Agent Skill框架最新综述
这篇来自Rutgers大学和UNC Charlotte的survey，首次系统梳理Agent技能的进化与评估全貌，覆盖19种技能进化方法和10个评估基准。指出当前评估体系有诸多不足，如无法追踪技能多轮反馈后是否变好等。
从组件到系统，Agent 的 Evaluation 怎么做？
Agentic AI 兴起使 Agent Evaluation 成热点。评估 Agent 与 LLM 有本质区别，Agent Evaluation 要考察系统在动态环境实现目标的综合表现，传统 LLM 评估方法无法沿用。业界涌现 GAIA 等相关工作，评估范式也在不断演进。
大模型开网店，谁是经营高手？E-Commerce Bench开源揭秘
为评估模型长程经营能力，联合淘天集团发布E-Commerce Bench，以10万本金、365天经营网店来评测。从多维度评估18个模型，结果差异大，还发现单一指标会掩盖模型表现，评估基准潜力大。
给定"标价"的 LLM 智能体，能规划出"最优"路径吗？
在LLM智能体多轮工具使用中，评估成本是难题。来自多所高校的团队推出CostBench基准，围绕旅行规划构建评估环境。评估顶尖模型发现其规划与适应能力有短板，并分析失效根源，还指出下一代智能体演进方向。
AgentIF-OneDay 发布，评估全场景长时复杂任务
红杉中国 xbench 发布 AgentIF - OneDay 评测体系，用于评估大模型解决复杂任务的能力。该体系从任务复杂度新视角出发，沿 Scaling Context 和 Scaling Domain 推进，构造了三类典型任务进行测评，揭示了主流 Agent 的能力边界。
告别“一眼定生死”：Agent-as-a-Judge 开启 AI 评估的下半场
过去两年，LLM-as-a-Judge成评估界“黄金标准”，但面对复杂任务力不从心。论文《A Survey on Agent-as-a-Judge》指出，应从单一的大模型裁判进化为具备行动能力的智能体裁判，还阐述了其优势、发展阶段等。
生产级Prompt自动化推理评估A/B实验结果的工程实践
本文围绕生产级Prompt自动化推理评估A/B实验结果展开，介绍系统背景与痛点，展示主Prompt和决策树，用deepseek - r1等模型推理。通过分析Bad Cases优化Prompt，总结设计原则和迭代方法，还给出通用启示与展望。
视频模型假装在推理？MME-CoF新基准评估12个推理维度
视频生成模型如Veo - 3能生成逼真视频，但推理能力存疑。香港中文大学等校研究者设计12项测试，发现模型只能模仿表面模式，未真正理解因果。研究推出MME - CoF基准，为评估指明方向。
Code2Video：全新AI教学视频生成框架，助力高质量教学
生成式模型在生成专业教育视频时受限，新加坡国立大学Show Lab提出Code2Video框架，以代码为中心，由三个协作智能体组成，能通过Python代码自动生成高质量教育视频，代码驱动生成优势明显。