「评测指标」共找到 870 篇相关文章
清华发布世界模型评测新标尺：直击机器人感知与行动鸿沟
清华大学等机构推出 WorldArena 评测基准，用于测试 EWM 真实能力。它融合感知与功能评估，含十六项视频指标，结合主客观评价生成 EWMScore。测试揭示模型在感知与行动上的差距，转型为实用型模型是行业挑战。
500万视频数据集+全新评测框架！北大开源主体一致性视频生成领域新基建OpenS2V-Nexus，生成视频 「像」 又 「自然」
北大团队推出开源套件OpenS2V - Nexus，含全球首个S2V细粒度评测基准OpenS2V - Eval和500万条高质量人物文本视频三元组数据集OpenS2V - 5M，还评测18个S2V模型，揭示主流模型能力差距。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
南大团队直击大模型高分神话：人类90分，最强模型仅49分
南京大学傅朝友团队在Google Gemini评测团队邀约下推出视频理解新基准Video - MME - v2。它有创新的分层能力体系与组级非线性评分，经超3300人工时标注。评测显示模型与人类差距大，还揭示传统Acc指标虚高、‘Thinking’并非总增益等现象。
变更即指标：用交付信号度量系统可靠性
系统变更是生产事故主因，本文提出聚焦变更可观测性的指标框架，介绍可扩展架构采集展示指标。定义业务和技术指标，构建以事件为中心架构获取数据，还阐述以数据驱动改进变更交付过程。
具身智能迈入下半场，RoboMemArena全面评测机器人记忆系统
香港科技大学（广州）等多机构打造具身智能评测基准 RoboMemArena，突破传统局限，构建综合评测体系，配套真机测评。它提供多模态标注，任务长程多样，开源资源易用，PrediMem 在其上表现出色。
不止修bug：Agentic Coding评测走向复杂feature交付新阶段
中国科学院自动化研究所联合华为提出 FeatureBench，构建端到端基础设施并开源。它从单元测试出发构造评测任务，引入多种机制保障任务可执行、可验证，能有效区分模型能力，还提供易用的评测流程。
突破泛化瓶颈：阿里云智能运维 Agent 评测体系实践
大模型 Agent 在智能运维场景落地常遇泛化难题。阿里云李也博士介绍利用评测集验证和提升智能运维算法泛化性的实践，阐述评测集重要性、构建方法，还展示其在提升智能运维 Agent 能力上的成效。
Anthropic：警惕评测排行榜！差别可能只是机器的内存更大，而已
Anthropic发工程博客指出，AI编程评测排行榜上排名前列的模型分差小，而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同，资源配置影响评测结果，排行榜分数差距或因硬件。