「自动化评估工具」共找到 2886 篇相关文章
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
Anthropic的多智能体，真的有必要吗？
作者曾质疑多智能体系统，看了Anthropic对「Claude Research」的说明后有了改观。介绍了多智能体系统定义、性能提升、代价，还阐述构建方法、评估方式，公开三个核心提示词及协作模式。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
统一20+多智能体方法，MASLab震撼发布
由十机构联合推出的 MASLab，带来大模型多智能体系统代码库，统一 20+主流 MAS 方法。有方法全、评估准、结构清晰特性，经大量实验刻画性能图谱，还提出新方法，且发起开源社区。
o3-pro答高难题文字游戏引围观，OpenAI前员工讽刺苹果：这都不叫推理那什么叫推理
OpenAI“最新最强版”推理模型o3 - pro引发关注。首位全职提示工程师给它设难题，它推理后答对。OpenAI前员工借此讽刺苹果。各大评测榜单显示其表现与官方有差异，苹果&SpaceX前工程师分享使用心得，肯定其表现。
AI还不会独自问诊，o3准确率仅为51.12%，上交大×SII开源高难度复杂疾病诊断测评集
上海交大与SII团队开源高难度复杂疾病诊断测评集DiagnosisArena。测试显示，现有大模型在复杂临床诊断任务中表现不佳，o3准确率仅51.12%，且选择题设置无法反映其真实能力。
微软开源AI量化神器Qlib
微软开源AI量化平台Qlib，支持多样机器学习范式，解决量化投资挑战。包含数据处理等完整流程，有安装、数据准备等说明，还提供自动化和定制化工作流，以及应对挑战的方案和性能对比。
这一夜，中国AI彻底翻身了：DeepSeek R1让全世界刮目相看 | 深度评测
作者深度测试新DeepSeek R1，发现其代码生成能力超Claude 3.7，虽编程全面性有不足，但已处Claude 3.7与Claude 4之间。前端设计审美达Claude 4水准，部分方面略胜，有自主学习推理能力，或改变中国AI历史。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
业界对 Agent 的最大误解：它能解决所有问题
业界认为 AI Agent 规模应用“拐点时刻”已至，但 IBM 强调不必过度“神化”AI。其推出 watsonx Orchestrate 解决方案，还指出企业落地 AI 要考虑数据、流程自动化等问题，强调回归业务本质看技术价值。