「多视角评估」共找到 4728 篇相关文章
评估工程正成为下一轮 Agent 演进的重点
文章指出传统软件工程测试方法难用于 AI 系统,促使评估工程成 Agent 演进重点。它贯穿 AI 生命周期,正走向体系化。介绍评估工程发展阶段,还提及阿里云 RM - Gallery 和云监控 2.0 实践。
AI 代码审查再进化:AutoDev 多智能体协作架构深度解析
现代软件开发中,代码审查存在信息割裂、人工效率低等痛点。AutoDev 借助多智能体协作与信息聚合,实现从分析到修复的闭环智能流程,还构建多 Agent 协作体系,未来将集成更多能力。
都在卷「让大模型多循环几遍」,这个7B模型LoopCoder v2说:多循环 1 次就够了
当下推理模型流行在测试时多循环,以打磨答案。但新研究发现,7B模型LoopCoder v2只多循环1次(共2次),就能大幅提升性能,继续增加循环次数,性能反而下降。研究还分析了收益与成本,给出选择循环次数的诊断方法。
统一20+多智能体方法,MASLab震撼发布
由十机构联合推出的 MASLab,带来大模型多智能体系统代码库,统一 20+主流 MAS 方法。有方法全、评估准、结构清晰特性,经大量实验刻画性能图谱,还提出新方法,且发起开源社区。
用于评估AI Web渗透测试能力的工具:XBow Bechmark,比靶机更好
文章介绍了用于评估AI Web渗透测试能力的XBow Benchmark,它已在github开源。该基准含104个Web安全挑战,涵盖多种漏洞,设计确保可重复性和状态持久性,其评估能力获广泛认可,还介绍了开源内容等。
多智能体自主规划模式性能提升:五大精准策略详解
本文基于多智能体React模式实践,剖析自主规划架构挑战,如工具调用延迟等。提出五大优化策略,像用流式XML替代FunctionCall、合理压缩上下文等,还介绍创意加速器AI绘画创作功能,为多智能体规划模式提供借鉴。
真实评估!北理发布全球首个「全场景教育」基准,支持4000+情境
北京理工大学高扬老师团队推出EduBench,是全球首个「全场景教育」基准,涵盖9大教育场景、12个评估维度、超4000个情境。团队将数据、模型等全面开源,评估发现大模型在特殊教育场景有不足,还提出多源知识蒸馏等方法。
谷歌研究院探索多智能体协调的扩展原则
谷歌研究院对180种智能体配置对照评估,得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异,还指出工具使用瓶颈等问题,且开发预测模型辅助架构选择。
全国首部AI智能体应用评估标准,现公开征集起草单位和个人
随着大模型热潮进入深水区,企业急需业务智能体,但因缺乏可量化评估标准,AI智能体应用面临选型、验收、优化困境。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草工作,现公开征集起草单位和个人。
不让“猪队友”拖后腿!哈深新作 AgentDropoutV2,专治多智能体“传话游戏”翻车现场
多智能体系统中,常有agent出错带偏整体。哈工大联合阿里提出AgentDropoutV2,测试时介入,设‘质检员’审核输出,结合失败案例构建‘避坑指南’,在多测试中显著提效,泛化性强。