搜索：测试评估集 - AI Reading Hub

「测试评估集」共找到 2744 篇相关文章

Jeff Dean投的RSI出成果了：Kimi K3自我进化排国产第一

本文报道Jeff Dean投资的AI初创公司推出DeepRSI新基准，测试大模型递归自我改进能力，设置48小时无网络自主科研挑战，最终Kimi K3拿下国产第一、开源第一，成果引发行业关注。

当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。

最新研究显示，GPT - 5在医疗领域处理多模态信息能力出色，在多模态测试中推理和理解得分比GPT - 4o分别提高近30%和36%，比人类医生还高。其能力提升源于端到端多模态架构，但现实应用还需更多实战考验。

2025年10月美股震荡，港大黄超教授团队开源AI-Trader项目启动实盘测试，上线一周在GitHub获近8K星标。6位AI交易员投入纳斯达克100交易，实验测试其交易纪律、市场耐心和信息过滤能力。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

大型语言模型推动智能体能力交互竞赛正酣，中国 Z.ai 推出 GLM - 4.5 系列开源权重模型，在推理、编程等基准测试中表现出色，还介绍了其工作原理、研究和测试结果等。

Meta从面试到绩效评估全方位推动员工使用AI。招聘允许用AI助手，2026年绩效评估将纳入“AI驱动的影响”，还推游戏和绩效助手鼓励员工用AI，这也是硅谷科技巨头的大势所趋。

月之暗面开源 Kimi K2 Thinking 模型，多方面性能超 GPT - 5 等闭源模型。它擅长多轮调用工具和持续思考，在多项基准测试达 SOTA 水平，成本低且授权宽松，引发全网讨论。

本文介绍了斯坦福等多校研究者提出的机器人评测基准LIBERO-MAX，针对机器人执行任务中途环境变化的痛点，设计配对测试方案，经大规模仿真评测现有模型性能，为机器人动态鲁棒性改进提供标准化测试平台。

在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。