「评测维度」共找到 797 篇相关文章
突发！OpenAI大神姚顺雨，任腾讯首席AI科学家
OpenAI科学家姚顺雨入职腾讯，任首席AI科学家，兼AI Infra部、大语言模型部负责人。他是清华姚班学霸，研究智能体成果多，还曾提出AI进入‘下半场’，评测将更重要的观点。
VQA高分是在看图，还是在记答案？ReKey只更新决定答案的那一小块
视觉问答模型准确率提升，但高分可能源于记忆。浙江大学等团队提出 ReKey，保留真实场景，只更新决定答案的视觉线索，使评测面向未见过内容，且多数环节可自动完成。
达尔文.skill正式发布，一个无限进化的skill系统！
作者受Karpathy的autoresearch启发，开发了达尔文.skill系统，可自动评估和优化skill。它有五条原则、八维度评分体系，能批量解决skill质量问题，与Anthropic官方工具互补，现已开源。
FACTS 基准测试套件问世，用于评估大型语言模型的事实准确性
FACTS 基准测试套件由 FACTS 团队与 Kaggle 联合开发，基于原 FACTS Grounding Benchmark 增加三个新基准，可从四个维度评估大模型事实性。初步结果显示进展与挑战并存，多模态成难题。
多模态推理新基准！最强Gemini 2.5 Pro仅得60分，复旦港中文上海AILab等出品
现有多模态大模型benchmark对逻辑推理理解不足，复旦大学等单位提出MME - Reasoning评估其推理能力。对30 + 模型评测，最优得分仅60%左右，反映出模型多方面推理短板。
桌面 Agent 的下一步：不是会操作，而是会调度工具
复旦大学和通义实验室提出 ToolCUA，让模型在 GUI 与工具调用间编排路径。它从已有 GUI 轨迹合成训练数据，设计奖励机制，在 OSWorld - MCP 评测中效率与准确率大幅提升，为 CUA 发展提供方向。
刚刚，阿里官方认领神秘「欢乐马」，来自ATH郑波团队
周二晚间，AI评测平台Artificial Analysis上，‘欢乐马’空降榜首引热议。现阿里官方认领，它是ATH郑波团队模型，正内测，近期将开放API。其在多项排行榜表现出色，支持四种视频生成模式。
ICML 2025 | 清华、上海AI Lab提出专家级医学基准MedXpertQA，看o3、R1哪家强
本文由清华和上海AI Lab学者撰写，提出专家级医学基准MedXpertQA。现有医学基准难度和临床相关性不足，而MedXpertQA极具挑战、临床相关性高，构建严格，评测显示前沿模型在医学领域提升空间大。
再不怕乱引文献！绕过付费墙，BibAgent把学术核验转为证据链
大模型生成学术论述，其引用验证成难题，尤其付费墙后论文难以核验。BIBAGENT突破此困境，不破解付费墙也能验证引文语义真伪，还构建MISCITEBENCH评测，表现优异，为科学写作补“可审计基础设施”。
AI安全的过去与未来：从大模型到智能体 | 预约
业界提升前沿AI模型和智能体安全性，常用安全评测和‘安全对齐’技术，但未真正解决风险。本次分享将介绍‘内生安全’探索成果，还公布了相关论文信息，刘东瑞等嘉宾将参与。