「Claw - SWE - Bench」共找到 180 篇相关文章
VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景
上海人工智能实验室等研究者完成VL - LN Bench，模拟真实导航场景。它构建自动化数据收集管线，依托InternVLA - N1训练评测。结果显示主动对话可提升表现，但当前方法在实例感知对齐等环节有短板。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
你的「龙虾」真记得你吗？剑桥发布长期个性化记忆基准ATM-Bench
剑桥大学团队开源面向AI个人助理的长期记忆基准测试ATM - Bench，评估AI面对真实生活数据时能否「记住你」。实验结果不佳，专用和通用智能体系统准确率低，凸显长期个性化记忆问答难题。
龙虾也能养龙虾！UCSD发布AIBuildAI智能体，MLE-Bench榜单第一
加州大学圣地亚哥分校团队推出AIBuildAI智能体，用户用自然语言描述任务，它就能自动完成AI模型开发。在OpenAI MLE - Bench测试中，其以63.1%获奖率居首，性能媲美人类专家。
乐鑫开源首个「物联网设备Agent框架」，Claw的风终于吹到硬件上
乐鑫开源首个物联网设备Agent框架ESP - Claw，用C语言重写。它核心理念是对话即创作，可让用户通过聊天定义硬件行为。具备运行效率高、内存占用低等特点，还有多种功能及良好的生态适配性。
Claude 通过率不到 4%，SaaS-Bench 撕碎了 Computer-Use 的「全自动办公」幻想
UniPat AI用SaaS - Bench测试，让Agent在真实工作环境中执行任务。结果显示，Claude Opus 4.7端到端完全通过分数仅3.8%，多数模型表现差，还暴露Agent四种致命缺陷，揭示其与真实工作能力有巨大鸿沟。
腾讯混元CL-bench续作发布，让大模型读懂你的日常生活
腾讯混元团队推出CL - Bench Life，用于精准衡量AI在现实生活中的“上下文学习”能力。测试12个语言模型，结果显示模型处理高噪声零碎context能力不足，揭示当前顶尖AI模型还远未读懂日常。
如何选择最佳多模态大模型压缩方案？哈工大、度小满开源EFFIVLM-BENCH基准测试框架
金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。
EMNLP 2025 | T2R-bench: 业内「首个」工业级表格生成报告评测基准
中国电信人工智能研究院推出业内首个面向真实工业场景的“表格到报告”基准T2R-bench，涵盖多领域真实表格、问题与人工标注关键点，配套创新性三维度评测体系。实验显示主流大模型在该任务上表现欠佳，提升空间大。
姚顺雨署名：大模型「现学现卖」能力首次被系统评估，腾讯、复旦联手发布CL-Bench
腾讯混元团队和复旦大学研究人员联手推出全新基准测试CL - Bench，系统性评估大模型上下文学习能力。测试显示十大前沿模型表现不佳，揭示当前大模型在该能力上的普遍短板，并指出未来四个探索方向。