「可信度评测」共找到 643 篇相关文章
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
评测也很酷，Data Agent 自动化评测的三层框架与实战
在大模型技术飞速发展下，评估应用效果成难题。字节跳动尹小明分享自动化评测技术，提出三层评测框架，还介绍 Text - to - SQL 及深度研究评测改进，以及评估平台建设，最后展望自动化评测未来方向。
DeepEval：LLM 应用评测不再玄学，让大模型评测像写单元测试一样简单
在大模型应用开发中，科学、自动化评测 LLM 输出质量是难题，人工评测效率低。DeepEval 是 Confident AI 团队开源的 LLM 评测框架，能用极简代码让评测像写 pytest 一样自然，内置多种评测指标，支持批量评测等。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构，实现评测全链路自动化。它能学习标注标准，完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案，解决多模态幻觉等问题，提升机审率，节省标注成本。
面向业务落地的AI产品评测体系设计与平台实现
文章聚焦淘宝闪购技术部AI产品评测，先介绍AI业务应用场景与评测挑战，接着阐述评测体系从多方面思考的要点，包括评价维度、评测方式等，还提及平台建设成果，最后展望未来多模态评测等规划。
一文搞懂 Agents 评测丨Anthropic 最新万字长文
传统模型评测方法难评估 Agent 系统，Anthropic 摸索出有效评测设计方法。文章介绍评测结构、意义、方法，涵盖编程、对话等 Agent 评测，还给出打造评测路线图及与其他方法结合的建议。
一篇讲透Agent自进化飞轮怎么搭：评测→记忆→落地→控制
文章指出多数团队评测、记忆、Self - Improve 拆分做，飞轮难转，原因是环节衔接断链。基于行业研究及实践，提炼评测→记忆→落地→控制四齿飞轮方法论，阐述各环节核心矛盾、建设要点、避坑指南及咬合形成飞轮的方法。
揭秘大模型评测：如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程，包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战，如设计维度和集，还给出评测方法及案例，像蚂蚁评测集、业务自动化评测。
HarnessEval 来了！开启 RSI 时代的新评测范式！
过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。
上海交大/上海AI Lab翟广涛：当评测不再重要，AGI就实现了
上海交通大学教授翟广涛认为完美的AI评测体系等同于通用人工智能。当下评测体系存在数据污染、原子化能力评测局限等问题，他主张回归‘以人为本’，团队提出相关框架和技术路径，目标是训评一体。