「基准评测」共找到 1323 篇相关文章
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
OpenClaw爆火，暴露12类致命隐患！MCP协议安全基准发布 | ICLR
OpenClaw等开源AI Agent项目爆火，MCP协议拓宽其能力也增大攻击面。北京邮电大学团队推出MSB安全基准，揭示MCP各阶段攻击有效，性能强的模型更易受攻击，还提出NRP指标平衡安全与实用性。
世界首个！李飞飞团队推出物理推理基准，大模型统统不及格？
斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy，通过测试发现顶尖模型在数值计算上不如人类，还揭示模型推理靠记忆而非测量，为AI发展指明方向。
让RAG真正读懂“言外之意”！新框架引入词汇多样性，刷新多项基准SOTA
ACL 2025研究提出Lexical Diversity - aware RAG (DRAG) 框架，将词汇多样性引入RAG检索与生成，解决现有方法痛点。它有两大创新模块，实验在多基准提升准确率，还将在多模型上增益，代码即将开源。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
从Debugger到Developer : 低代码时代新基准NoCode-bench，SWE-Bench作者力荐
浙江大学牵头联合多机构推出全新评估基准NoCode - bench，直面自然语言驱动功能添加任务，发现当前最佳LLM成功率仅两成。它构建严谨，任务挑战大，指明AI软件开发改进方向，且已开源。
全球首个历史基准！普林复旦打造AI历史助手，AI破圈人文学科
普林斯顿大学AI实验室与复旦大学历史学系联手推出全球首个历史领域评测基准HistBench及AI助手HistAgent。HistBench含414道题，能检验AI深度认知能力；HistAgent集成多种工具，在测试中表现优异。
迈向原生全模态AI智能体：人大&小红书发布OmniGAIA新基准
中国人民大学等团队推出 OmniGAIA 新基准及 OmniAtlas 训练框架。OmniGAIA 含 360 个高难度任务，覆盖多领域。实验显示闭源与开源模型差距大，OmniAtlas 显著提升开源模型表现，并指出未来全模态智能体发展方向。
真实评估！北理发布全球首个「全场景教育」基准，支持4000+情境
北京理工大学高扬老师团队推出EduBench，是全球首个「全场景教育」基准，涵盖9大教育场景、12个评估维度、超4000个情境。团队将数据、模型等全面开源，评估发现大模型在特殊教育场景有不足，还提出多源知识蒸馏等方法。
CrowdStrike联手Meta发布AI安全基准，让AI在真实网络攻击中证明自己
美国网络安全巨头CrowdStrike与Meta在Fal.Con 2025大会联合推出开源基准测试套件CyberSOCEval，旨在评估AI大语言模型在真实SOC环境下的网络安全能力，它源于Meta之前框架，开源供全球开发者使用。