「评测集」共找到 1089 篇相关文章
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
LeCun 两连推！LeJEPA 核心作者最新论文，改写 JEPA 表征坍塌困局
社交平台X上，研究工作VISReg获图灵奖得主Yann LeCun两连推。它精准命中JEPA世界模型核心痛点——表征坍塌，不靠“外挂”、仅用1/10数据，就在15个数据集上力压7大主流自监督学习算法。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。
ICML 2025 Spotlight | 谁导致了多智能体系统的失败？首个「自动化失败归因」研究出炉
ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。
打通AI4S数据入口：MinerU.Chem让化学文献中的“图片”，从“人类可读”走向“AI可用”
上海人工智能实验室 OpenDataLab 团队发布 MinerU.Chem 技术报告及成果，升级化学文献智能解析能力。它能将化学文献图片转化为 AI 可用数据，解决化学知识机器难用问题，在评测中领先，还将助力 AI4S 发展。
拒绝传统 Router“瞎指挥”，多智能体如何实现智能任务分配？
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。
开源·开放·开创，2025张江具身智能开发者大会暨国际人形机器人技能大赛即将启幕
5月29日，2025张江具身智能开发者大会暨国际人形机器人技能大赛将在张江科学会堂启幕，集“峰会+大赛+展览”于一体。现场将发布政策、成立联盟、启动平台与基金，推动产业发展。大赛设五大赛道，展示创新活力。
Arc研究所造出能“举一反三”的虚拟细胞模型，破解跨细胞预测难题
生物学和药物研发中，因细胞组合庞大，难以全实验验证，且同药在不同细胞效果不同。Arc Institute 团队推出虚拟细胞模型 STATE 及评测套件 Cell - Eval，STATE 预测效果优，但也存在短板。
邱锡鹏团队新作：让机器人学会「察言观色」
复旦大学邱锡鹏团队等发布全新操作框架 RoboOmni，突破传统 VLA 依赖显式指令局限。它融合多模态信号，构建数据集，在成功率等方面超基线，以跨模态指令让机器人主动推断意图，开启具身智能‘共情时代’。