搜索：自动化评测 - AI Reading Hub

「自动化评测」共找到 1118 篇相关文章

首个用户生活「长程模拟器」来了！LifeSim 重新定义大模型个性化评测

现有个性化助手评测基准与真实用户-助手交互脱节，来自复旦大学等的研究人员提出 LifeSim 框架及 LifeSim-Eval 评测方法。实验显示主流 LLM 处理显性需求尚可，隐性意图识别等方面短板明显。

Nanobrowser是开源Chrome扩展工具，专注AI驱动的网页自动化。免费且本地运行，保护隐私，支持多主流大模型。有多智能体协同等特点，还介绍了安装配置方法，是高效安全的网页自动化之选。

传统浏览器自动化工具基于‘精确选择器’，网站改版代码易崩溃。而Stagehand是新一代AI浏览器自动化框架，用自然语言控制浏览器，开发效率提升10倍，维护成本降80%，还具备自然语言操控、自我修复等功能。

为应对网络攻击，需将非结构化网络威胁情报转化为结构化情报。IntelEX是自动化攻击级威胁情报提取工具，通过LLM上下文学习等增强，能识别攻击序列并提取结构化情报为STIX格式，还可转化成Sigma，在测试中表现优异。

司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。

OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。

具身智能产业发展迅速，但缺统一、高标准真机评测体系，成发展痛点。中山大学等机构推出 ManipArena 挑战赛，提供科学评测框架，已测部分模型，揭示不同技术路线能力边界，为产业发展提供基础。

文章介绍针对CFD领域的综合LLM评测基准CFDLLMBench，构建三层递进挑战体系。实验揭示主流LLM在‘知道’与‘做到’间有差距，多智能体框架可提升成功率，代码与数据集已开源。

Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。

当前大语言模型编程能力评估体系问题多，如评测集饱和、数据泄漏等。Meituan - M17团队推出OIBench数据集，对18个主流大模型评测，揭示模型真实水平，还将举办人机协作编程竞赛。