「自动化评估工具」共找到 2864 篇相关文章
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
GPT-5仅23.3%，全球AI集体挂科！地狱级编程考试，夺金神话破灭
最新基准测试SWE-Bench Pro评估AI编程智能体，直面真实企业级工程任务。顶尖模型几乎溃败，GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题，能成未来LLM编码能力标尺。
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
好看不等于会交互！阿里发布基于交互的世界模型基准
阿里等联合推出 Omni - WorldBench 评估框架，指出多数高颜值 AI 视频在物理规律和交互逻辑上有缺陷。该框架含提示词套件和量化评估框架，对 18 款模型测评，为 4D 世界模型研发指明方向。
20刀月费秒变API！Hermes一行命令就能用上Claude、ChatGPT订阅
两大开源Agent框架有硬核更新。Hermes Agent v0.14用一行命令把模型订阅变API，零成本驱动开发工具，还接入Grok。OpenClaw 5.18修复问题，适配Grok。20美元月费可喂饱工具链，打破生态闭环。
Agent搜索哪家强？人大高瓴&快手联合发布全新评测基准GISA
人大高瓴与快手联合发布全新评测基准GISA，用于评估智能体搜索能力。它解决了现有基准反向构造、评估维度单一、答案易被记忆等问题，含373个高质量查询，实验显示当前搜索智能体距人类水平差距大。
YOLO + OpenClaw 缺陷检测智能体，低代码实战方案
文章介绍了YOLO + OpenClaw缺陷检测智能体低代码实战方案。先指出实时检测延迟问题，提出离线自动化方案。接着讲训练YOLO模型、创建OpenClaw技能、配置自动化任务及企业微信集成，还对比了与人工质检效果。
Claude Opus 4.7发布！这是你在别的公众号看不到的五个发现
Anthropic发布Claude Opus 4.7，编码和视觉能力提升，但长上下文能力下降。其231页的System Card藏着不少有趣发现，如Opus 4.7非最强模型、Claude知道被测试、模型审查自身评估等。
AI 会替代产品经理吗？答案藏在这份白皮书里
阿里CEO吴泳铭提出ASI概念，判断AI发展路径。产品经理用AI面临抉择，现状复杂，仅32%认为显著提效。万字白皮书拆解AI与产品工作适配方式，还给出应用案例、提效技巧及工具推荐，探讨产品经理职业进化路径。
九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。