「Agent 评测」共找到 3146 篇相关文章
揭秘大模型评测:如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程,包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战,如设计维度和集,还给出评测方法及案例,像蚂蚁评测集、业务自动化评测。
Agent 基建不是设计出来的,是被 Kimi K3 和一堆应用公司卷出来的
文章以 Kimi K3 模型及相关 agent 产品为例,讲述 TiDB 作为基建服务商,满足 AI 团队需求形成 Agent Stack。还指出 Agent 时代基建难题、数据库使用变化,以及创业团队做 Agent 业务的三个判断。
给 Agent Skills 装上眼睛:MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills,将可复用技能扩展为多模态程序性知识,通过 branch loading 调用视觉证据,在 GUI 与游戏任务评测中表现出色。
花了3天时间,万字长文一口气评测四大AI浏览器:Dia、Fellou、Comet、Edge。
作者花三天写万字长文评测Dia、Fellou、Comet、Edge四款AI浏览器。从用户体验、Agent能力、信息搜集与处理、跨标签理解和历史记录记忆等维度测评,指出各款优劣,为用户选择提供参考。
你的 AI 助理一闭嘴就在「发呆」?上交大 ProAct:把 Agent 的空闲时间变成生产力
上海交通大学 APEX 实验室提出 ProAct 架构,能把对话空闲时间转化为主动准备机会。它有预测、筛选、交付三级流水线,经 ProActEval 评测效果佳,证明算力用对地方更重要,让 Agent 能提前为用户准备。
GPT-5.4 仅 11.36%!当大规模工具生态变成迷宫,LLM Agent 还能完成长程规划吗?
PlanBench-XL 来自 UIUC 团队,将 LLM Agent 放入零售 API 世界,评测其长程规划能力。它考虑真实工具环境挑战,含 327 个任务等,发现多数模型规划难、恢复差等问题,并给出改进启示。
Anthropic 重新定义智能体终局: Bash Is All Agent Need!
Anthropic工程师Thariq Shihipar提出,最强大的Agent工具是Bash和文件系统,基于Unix思想构建Agent会超传统API工具。还介绍了上下文工程、Agent Loop本质等内容,认为这或是Agent终极形态。
一文总结飞书新品发布会 - 向Agent平台的跃迁。
飞书新品发布会对AI助手aliy和飞书妙搭全面迭代,向Agent原生平台迈进。飞书aily成常驻联系人的Agent,妙搭底层升级为Code Agent,还有多维表格Agent等新功能,提升工作效率。
小红书发布 SWE-Bench Mobile:当 AI Agent 面对亿级用户 App 代码库,最高通过率仅12%?
小红书联合多科研机构发布 SWE-Bench Mobile,它是首个还原‘端到端’开发流程的基准,以小红书 App 实际任务为核心。评测显示,AI Agent 在移动端开发能力上限低,架构设计比模型本身重要,简单提示策略效果更好。
HarnessEval 来了!开启 RSI 时代的新评测范式!
过去一年AI进入RSI时代,但评测方式仍停留在过去。MirroS联合多方发布HarnessEval,将Harness引入评测领域,使评测成为具备自我进化能力的智能系统,还率先应用于交互式世界模型评测。