开源动态8

微软：「0污染」LLM理解基准来了！

新智元2025-07-18

AI 摘要

微软亚洲研究院推出MMLU-CF基准测试，含20000题覆盖14学科。用去污染规则和闭源测试集防数据泄露，评估更可靠，扰乱了部分模型在MMLU上的排名。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

阿里云平台完成 DeepSeek Harness 评测

本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构，阐述 AgentLoop 平台接入方式及价值，还详述评估器设计思路、展示评测结果，最后总结方法论并展望后续工作。

前两天J-Space凭夸张测试结果刷屏，宣称一份Skill接入Agent环境，能让V4 Pro在多基准大幅提升，部分成绩超Fable 5。但社区复测结果相反，作者未公开完整评测记录，还删质疑帖，引发公开打假。

过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。

近期，DeepSeek上调API价格，V4 Pro等型号涨幅明显；而OpenAI的GPT - 5.6 Luna API价格降80%，Terra降20%。这背后是大模型价格竞争方向转变，受竞争、广告、效率及Agent使用方式等因素影响。