「自动评测体系」共找到 1688 篇相关文章
GPT-4V仅达Level-2？全球首个多模态通才段位排行榜发布，General-Level打造多模态通用AI评测新范式
General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。
一文搞懂 Agents 评测丨Anthropic 最新万字长文
传统模型评测方法难评估 Agent 系统，Anthropic 摸索出有效评测设计方法。文章介绍评测结构、意义、方法，涵盖编程、对话等 Agent 评测，还给出打造评测路线图及与其他方法结合的建议。
大模型能否为不同硬件平台生成高性能内核？南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核，当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench，打破现有评测基准局限，构建模块化评测体系，多模型实测，还指出LLM短板并明确未来方向。
我们对 Coding Agent 的评测，可能搞错了方向
用户对 Agent 不满常因它「做得不好」，不遵循指令和规范。当前主流评测体系以结果为导向，与真实场景错位。MiniMax 开源 OctoCodingBench 评测集，结果显示模型过程规范遵循不足，未来训练需引入过程监督。
构建知识闭环：用CodeBuddy打造自我进化的数据分析体系
腾讯团队为解决数据分析痛点，构建知识闭环体系，利用CodeBuddy设计开发规范、自动生成SQL，将编码从小时级降至分钟级。体系含沉淀、传递、生成、信赖、闭环五环，提升团队效率与协作。
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
揭秘大模型评测：如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程，包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战，如设计维度和集，还给出评测方法及案例，像蚂蚁评测集、业务自动化评测。
腾讯与中科院联合提出R-4B，一个能自动决定是否思考的多模态大模型
多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。
HarnessEval 来了！开启 RSI 时代的新评测范式！
过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。
AI医生终于有了硬标尺！全球首个专病循证评测框架GAPS发布，蚂蚁联合北大王俊院士团队出品
蚂蚁健康与北大王俊院士团队发布全球首个大模型专病循证能力评测框架GAPS及评测集GAPS - NSCLC - preview，解决现有医疗AI评测局限，成果已应用于“蚂蚁阿福”，并客观评价了大模型临床能力。