「评测缺陷」共找到 811 篇相关文章
Claude 通过率不到 4%，SaaS-Bench 撕碎了 Computer-Use 的「全自动办公」幻想
UniPat AI用SaaS - Bench测试，让Agent在真实工作环境中执行任务。结果显示，Claude Opus 4.7端到端完全通过分数仅3.8%，多数模型表现差，还暴露Agent四种致命缺陷，揭示其与真实工作能力有巨大鸿沟。
密室逃脱成AI新考场，通关率不足50%，暴露空间推理短板丨清华ICCV25
清华大学团队受密室逃脱游戏启发，提出EscapeCraft：一个3D密室逃脱环境，用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型，发现它们在推理和探索行为方面存在诸多问题。
中文版Nano Banana来了？Qwen-Image-2.0炸场：1K长文本硬吃，中文生图彻底不拧巴了
AI生图曾有文本长易糊、指令复杂就出错、中文渲染差等问题。阿里新发布的Qwen-Image-2.0能处理1K token长文本，理解复杂指令，中文渲染佳，还能多图编辑，国际评测表现也靠前，阿里云百炼已开通API邀测。
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
GUI智能体训练迎来新范式！半在线强化学习让7B模型媲美GPT-4o
浙江大学与通义实验室团队推出UI - S1，提出半在线强化学习训练范式。它融合离线与在线学习优势，用三项关键技术构建核心架构，新评测指标SOP更贴近真实表现，实验显示UI - S1 - 7B性能卓越，逼近GPT - 4o。
Karpathy 回应争议：RL 不是真的不行，Agent 还需要十年的预测其实很乐观
Andrej Karpathy 在与知名播客主持人 Dwarkesh Patel 的对谈中指出当下 LLMs 研究进展、Agents 存在的实际问题，如‘AGI 仍需十年时间’‘LLM 认知有缺陷’‘强化学习很糟糕’等。他还对关键争议点做了补充回应，包括对 AGI 时间线、强化学习局限性等的看法。
OPPO AI重磅发布：深度研究智能体，离“真正好用”还有多远？我们给大模型做了一次全身体检
2025年，Deep Research成AI热点，OPPO AI Agent Team对大模型评测。发布论文，开源评测基准FINDER和失败分类体系DEFT，揭示AI“装懂”“缺乏韧性”问题，还分析模型表现并给出发展建议。
机器人长出800个心眼？阿里达摩院开源具身新大脑，硅谷又坐不住了
2026年具身智能竞争激烈，阿里达摩院开源RynnBrain“具身大脑”。它采用分层架构，在16项评测中超越前沿模型。还介绍了核心技术、训练策略等，且全系列模型、评测基准和代码均开源。
蚂蚁 | 提出代码检索/重排基准：CoREB，揭开高分榜背后的三大幻觉，现已接入MTEB
蚂蚁研究人员提出代码检索与重排评测基准CoREB，解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB，收录19个模型×6个任务评测结果，为代码检索模型评估提供新基线。
Andrej Karpathy最新万字采访：AGI还需10年，RL其实很糟糕，AGI不会导致经济大爆发
Andrej Karpathy在两小时万字采访里阐述AI观点。他认为AGI还需十年，强化学习糟糕，其不会带来经济爆炸式增长。还分享创办Eureka的愿景，想构建“知识斜坡”，让人类在AI时代有更强认知力。