「权威评测」共找到 732 篇相关文章
破防了！全球顶尖AI惨败，人类最后防线竟是「重启试试」？
GSMA联合权威组织发起全球电信AI故障排查挑战赛，吸引超1000支队伍。赛事依托权威评估框架，设丰厚奖励，分多个赛道，还将开展智能体任务，预示电信运营模式重构。
GPT-6发布，OpenAI说AGI时代来了
北京时间9月4日凌晨，OpenAI发布GPT - 6 Astra，虽发布过程狼狈，但该模型在多项评测中表现出色，如数学评测、电脑操控等，但编程类任务未全面领先，且网络安全方面部分功能被限制。
开源对机器人的价值，远超大模型时代的想象丨唐文斌深度对谈抱抱脸创始人
Dexmal联合创始人唐文斌与Hugging Face联合创始人Thomas Wolf指出当前机器人研究痛点，联合推出开放、统一、可复现的真实世界机器人评测平台RoboChallenge.ai，探讨开源对机器人的价值、评测平台搭建等问题。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
人大高瓴-华为诺亚：大语言模型智能体记忆机制的系列研究
中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力，形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法，还构建评测榜单、实现工具包。
AI最尴尬的短板，中国科学院出手了
7月24日，中科院计算所“知境”团队发布知境社会心智大模型技术体系，为现有大模型补社会心智短板。其建评测体系SoMBench，设计训练系统Zing，用部署架构Actio，在多评测超越GPT - 5.5等，应用前景广。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
机器人伸手时，杯子被挪走了：LIBERO-MAX用22.4万次仿真检验动态可靠性
本文介绍了斯坦福等多校研究者提出的机器人评测基准LIBERO-MAX，针对机器人执行任务中途环境变化的痛点，设计配对测试方案，经大规模仿真评测现有模型性能，为机器人动态鲁棒性改进提供标准化测试平台。
马斯克转发字节Seed&哥大商学院新基准：大模型搞金融，连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp，含635个问题。评测显示大模型处理金融任务有差距，凸显金融AI能力评估重要性，还揭示了关键能力差距。
Qwen-AgentWorld：一个语言世界模型，模拟七大Agentic领域
今天正式发布 Qwen-AgentWorld，它是首个原生语言世界模型，能在七大领域模拟智能体交互环境。同步发布 AgentWorldBench 评测基准。Qwen-AgentWorld 经三阶段训练，在评测中表现出色，还探索两种范式增强通用智能体能力。