「AI基准测试」共找到 10648 篇相关文章
字节发布全球首个预测未来基准FutureX，Grok-4 拿下冠军
字节跳动发布全球首个实时未来预测基准测试FutureX，杜绝模型作弊。在25个模型评测中，Grok - 4夺冠。它从多网站构建问题，分四级难度。人类专家在部分等级仍领先AI 。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。
AI「自我复制」能力曝光！RepliBench警示：大模型正在学会伪造身份
英国AISI推出RepliBench基准评估AI自主复制能力，分解为四大核心能力。测试显示当前AI尚不具备完全自主复制能力，但在部分子任务有进展，研究旨在平衡AI发展与安全，为技术变革导航。
1.2万人收藏单日斩获 3.4K！刚刚冲上 GitHub Trending 榜首的“AI 红队”工具！
AI加速代码编写，但也留下更多安全坑，传统扫描工具和人工渗透测试难以应对。新晋GitHub Trending榜首工具Shannon是全球首个开源全自动AI渗透测试员，多智能体架构，功能强大，适合AI编程团队。
MMLU已死？「人类最后考试」登Nature：全球AI模型集体不及格！
AI发展迅猛，现有基准测试难以跟上其步伐。近1000名研究人员组成的全球联盟创建「人类最后的考试」（HLE），涵盖多领域难题，目前最强AI准确率不足50%，凸显AI与人类专家的差距。
FACTS 基准测试套件问世，用于评估大型语言模型的事实准确性
FACTS 基准测试套件由 FACTS 团队与 Kaggle 联合开发，基于原 FACTS Grounding Benchmark 增加三个新基准，可从四个维度评估大模型事实性。初步结果显示进展与挑战并存，多模态成难题。
三位AI殿堂级人物罕见同框：LeCun、李飞飞、谢赛宁团队用空间超感知让AI像人一样理解三维世界
谢赛宁团队联合杨立昆、李飞飞发布Cambrian - S研究，提出空间超感知概念，指出现有AI视频理解或被高估，推出VSI - SUPER基准测试，虽Cambrian - S模型有提升但仍有局限，预测性感知或成新范式。
ICML 2025 | 清华、上海AI Lab提出专家级医学基准MedXpertQA，看o3、R1哪家强
本文由清华和上海AI Lab学者撰写，提出专家级医学基准MedXpertQA。现有医学基准难度和临床相关性不足，而MedXpertQA极具挑战、临床相关性高，构建严格，评测显示前沿模型在医学领域提升空间大。
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
世界首个！李飞飞团队推出物理推理基准，大模型统统不及格？
斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy，通过测试发现顶尖模型在数值计算上不如人类，还揭示模型推理靠记忆而非测量，为AI发展指明方向。