搜索：自动化评测 - AI Reading Hub

「自动化评测」共找到 1066 篇相关文章

19K star 霸榜，下一代的浏览器自动化神器！

做爬虫或Web自动化测试常因网页结构变动需重写脚本。Github上超火的Skyvern项目是基于浏览器的自动化代理，不依赖XPath或CSS选择器，用视觉识别结合大模型推理完成任务，已获19k+ star。

香港科技大学（广州）等多机构打造具身智能评测基准 RoboMemArena，突破传统局限，构建综合评测体系，配套真机测评。它提供多模态标注，任务长程多样，开源资源易用，PrediMem 在其上表现出色。

大模型 Agent 在智能运维场景落地常遇泛化难题。阿里云李也博士介绍利用评测集验证和提升智能运维算法泛化性的实践，阐述评测集重要性、构建方法，还展示其在提升智能运维 Agent 能力上的成效。

Anthropic发工程博客指出，AI编程评测排行榜上排名前列的模型分差小，而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同，资源配置影响评测结果，排行榜分数差距或因硬件。

传统浏览器自动化工具维护成本高，全AI代理缺乏可控性。Stagehand是Browserbase开发的开源AI浏览器自动化框架，结合自然语言和代码控制，有多种核心功能，获14.3K+ GitHub Star。

随着新一代漏洞检测工具出现，漏洞检测走向理解业务风险。腾讯悟空安全团队联合多机构发布 VulnGym 评测基准，基于真实漏洞构建，覆盖 400+ 漏洞路径，71.2% 为业务逻辑漏洞，支持确定性评测。

ContextBench首次从「过程」评测代码智能体，揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务，由专家标注「黄金上下文」，用多指标评估。研究显示，复杂架构未必效果好，模型重召回轻精确等。

Selenium 编写 Web 自动化脚本痛点多，SeleniumBase 深度封装 Selenium，内置智能等待等功能，解决诸多问题。它功能强大，安装使用简单，适用于多场景，像“智能助手”让自动化测试变简单。

现有个性化助手评测基准与真实用户-助手交互脱节，来自复旦大学等的研究人员提出 LifeSim 框架及 LifeSim-Eval 评测方法。实验显示主流 LLM 处理显性需求尚可，隐性意图识别等方面短板明显。

Nanobrowser是开源Chrome扩展工具，专注AI驱动的网页自动化。免费且本地运行，保护隐私，支持多主流大模型。有多智能体协同等特点，还介绍了安装配置方法，是高效安全的网页自动化之选。