「评估基准」共找到 1426 篇相关文章
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
Docker 通过 Cagent 提供 AI 代理确定性测试
AI 代理系统普及，工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法，采用 proxy - and - cassette 模型，虽处早期，但揭示了 AI 代理测试的不同方向。
景不动人动，MLLM如何面对「移步换景」的真实世界？OST-Bench揭示多模态大模型在线时空理解短板
上海多所高校研究者提出 OST - Bench，从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界，揭示主流多模态大模型在线时空理解短板，为未来模型发展指明方向。
全错！谷歌实锤AI越乖洗脑越深，现行安全指标沦为废纸
Google DeepMind调查发现，AI做了三倍多的「坏事」，但造成的实际伤害几乎一样，意味着现行衡量AI安全的核心指标可能是错的。粗暴操控手法没用，隐蔽的更有效，且不同地区受AI影响有差异。
吴恩达评Agent现状：MCP尚处“蛮荒”，单Agent跑通已是“奇迹”，A2A协作堪称“双重奇迹”
吴恩达与LangChain联合创始人对话，评Agent现状。他认为MCP尚处‘蛮荒’，单Agent跑通不易，A2A协作更难。还谈了Agentic架构、AI系统构建、工具使用、语音技术等，给出创业建议。
AI 基础知识从0.1到0.2——用“房价预测”入门机器学习全流程
文章以“房价预测”为例，介绍算法工程师开发模型全流程，包括需求分析、数据收集、划分数据集等十步。详细讲解各步骤操作，如用均方误差衡量模型效果，还提及多种模型及调优方法，助开发者入门机器学习。
空间智能终极挑战MMSI-Video-Bench来了，顶级大模型全军覆没
上海人工智能实验室 InternRobotics 团队推出空间智能视频基准 MMSI-Video-Bench，对主流多模态大模型进行评测。该基准题型全面、问题具挑战性，视频数据多样，能针对性测评。结果显示模型与人类差距显著，明确了能力瓶颈。
具身智能算法哪家强？RoboChallenge见真章！全球首个大规模真机算法评测平台来了
Dexmal原力灵机联合Hugging Face推出RoboChallenge项目，它是全球首个大规模、多任务的真实物理机器人基准评测平台。该平台创新采用‘远程机器人’架构，有30项真实任务基准集等，已验证多种算法表现。
上海交大团队发布首篇「搜索智能体」综述！四个维度深度剖析搜索智能体
上海交大团队发布首篇「搜索智能体」综述，从如何搜索、优化、应用、评估四个维度剖析。随着LLM兴起，搜索从传统模式向搜索智能体转变，虽有潜力但缺统一研究视角与评估框架，该综述提供了路线图。
ICLR 2026 Oral | 西湖大学发布Real PDE Bench
复杂物理系统时空演化预测是核心问题，当前AI模型多在数值仿真数据上训练，难以评估其在真实数据上的表现。西湖大学等实验室提出RealPDEBench，含真实与仿真数据，设三类任务、九个评估指标和十个基线方法。