「基准测试集」共找到 2446 篇相关文章
真实评估！北理发布全球首个「全场景教育」基准，支持4000+情境
北京理工大学高扬老师团队推出EduBench，是全球首个「全场景教育」基准，涵盖9大教育场景、12个评估维度、超4000个情境。团队将数据、模型等全面开源，评估发现大模型在特殊教育场景有不足，还提出多源知识蒸馏等方法。
首个长程Doc2Repo训练集！代码Agent不止修bug，开始造仓库
中国人民大学高瓴人工智能学院发布DeNovoSWE数据集，专注长程软件工程任务。它通过特定机制构造高质量数据，为代码智能体长程能力训练提供支持，实验显示能显著提升模型仓库生成能力。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
大模型破译甲骨文创下新SOTA！复旦团队推出新框架
复旦大学团队提出基于部首和象形分析的可解释甲骨文破译框架，构建PD - OBS数据集。该框架在公开基准数据集上准确率高，零样本破译能力强，能输出可解释分析文本，助力考古破译。
图像编辑模型不止生成：BIGAI&上交大提出EAR范式，系统测试其视觉规划能力
上海交通大学联合北京通用人工智能研究院提出EAR范式，构建AMAZE基准，分析图像编辑模型视觉推理能力。研究发现模型零样本表现弱，扩散式模型更适合视觉规划，CoT效果不稳定等。
生成率从8%到60%：快手智能测试用例生成系统的四阶进化
快手研发效能团队构建智能用例生成系统，实现从手动编写到审核校验的模式转变。该系统历经四阶架构演进，将用例生成率从 8% 提升至 60% 以上，成为公司测试人员日常使用的标准化生产力工具。
腾讯混元数字人团队发布Moral RolePlay基准，揭秘大模型的「道德困境」
腾讯混元数字人团队和中山大学推出「Moral RolePlay」测评基准，评估大模型扮演多元道德角色能力，揭示顶尖AI模型演不好反派，暴露模型理解社会心理复杂性的局限，还给出未来对齐技术方向。
阿里妈妈发布MUSE：用多模态搞定十万级超长行为序列，并开源Taobao-MM数据集
阿里妈妈与武汉大学团队发布 MUSE 框架，用于终身用户兴趣建模，能处理 10 万级超长行为序列。还开源 Taobao - MM 数据集。MUSE 可插拔，已在阿里妈妈展示广告精排模型全量上线，提升 CTR 等指标。
Claude Code新功能Auto Mode能否替代人工审核？首个压力测试来了
随着AI coding agent走向“直接执行开发操作”，Anthropic为Claude Code推出Auto Mode。香港科技大学与ETH Zurich研究团队对其进行首个系统压力测试，发现Auto Mode端到端误放行率达81.0%，部分危险操作绕过审核。
OpenClaw 技术闭门：测试将比代码更值钱，Agent Computer 会是新的硬件形态
OpenClaw 持续发酵，从极客「玩具」变为生产力工具。闭门分享中，开发者们探讨了其在实际业务中的应用。如代码成负债，测试更重要；不同用户对 OpenClaw 认知差异大；Platform Engineering 成工程师核心，还提及 Agent Computer 新硬件形态等。