算法论文8
腾讯WildToolBench:揭示LLM真实能力缺口
PaperAgent
AI 摘要
腾讯混元团队:现有LLM工具使用基准忽视用户“野生”行为,提出WildToolBench。测试58个模型,准确率均低,凸显LLM在真实场景能力差,未来应强化对用户意图理解。
阅读原文 · PaperAgent
ICLR-26腾讯混元:Agent是强大的,但用户是狂野的
现有LLM工具使用基准测试场景理想化,忽视真实用户行为复杂性。腾讯提出WildToolBench,基于真实用户行为构建测试集,对58个模型评估,发现模型准确率低,揭示LLM在真实场景下能力缺口,为模型优化指明方向。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章8
Nick Jennings:智能体AI走向智能社会
8月18日,IJCAI 2026大会上,研究卓越奖得主Nick Jennings回顾智能体发展历程,指出当下智能体AI火热,它并非新概念,而是经数十年积累。还分享经验,展望从智能体到智能社会的未来。
AI科技评论
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
阿里云开发者
开源动态7
27.2k Star FastMCP:让MCP工程化
文章介绍了27.2k Star的FastMCP,它是Python MCP应用框架,能让普通Python函数成为MCP工具。讲了其适合场景、省事原因及上线安全边界,还给出了适用人群和注意点。
小华同学ai
推荐文章7
董舒:AI数字员工催生OPC一人公司
OpenHex董舒认为AI最大价值是替人出面干活,提出数字员工概念。他指出判断力密度高的岗位易被AI取代,中国服务业有发展机会。还辨析数字员工类型,介绍其平台OPS Agent,最后分享了数字员工相关Q&A。
AI科技大本营