搜索：OpenAI MLE - Bench

「OpenAI MLE - Bench」共找到 1988 篇相关文章

Claude不到4%，全军覆没！一场大考撕碎Agent「全自动办公」幻想

新智元报道，UniPat AI的SaaS - Bench实战考卷，用23个真系统、106个任务测试Agent。结果显示，Claude Opus 4.7完全通过分数仅3.8%，多数模型全军覆没，暴露了Agent在真实环境中的四种致命缺陷。

OpenAI产品负责人Nick Turley首次分享ChatGPT幕后故事。ChatGPT从黑客马拉松项目起步，10天内发布，如今周活超7亿。他还介绍了GPT - 5特性，以及ChatGPT长期愿景、发展迭代、团队组建等情况。

OpenAI在Reddit举行GPT - 5问答活动，网友吐槽多。Sam Altman确认GPT - 4o回归，还表示GPT - 5将进行加倍调用速率、保留旧模型选择权等六大改进，同时回应了用户对旧模型、调用限额等方面的质疑。

本文围绕AI Token展开，讲述OpenAI用Token换创业公司股权，00后捐20亿Token给母校，还探讨了“tokenmaxxing”现象及问题，指出AI行业经济账未算清，企业客户成本高，AI成管理层压迫工具。

马斯克发布Grok 4，宣称其超越OpenAI等LLM。它屠了各种榜单，但Grok系列口碑欠佳。文中通过多案例测试，展现其在各方面的表现，如编码、数学、图像等，还提到了API速度和价格。

7月24日晚，黄仁勋在X首发帖，公布25家联署的‘开源为什么重要’公开信，引发关注。马斯克、奥特曼等表态支持，但OpenAI等闭源三巨头缺席。信中为‘蒸馏’正名，凸显‘扩散派’与‘稀缺派’矛盾，中国开源模型崭露头角。

2025年，空间智能成大模型竞争新热点，模型在室内基准上分数飙升。但因训练与测试数据同源，其提升或只是“背答案”。中科院大学等机构发布OSI - Bench重新审视大模型空间能力，评测显示当前提升可能是虚假繁荣。

Meta、微软和 xAI 被曝监视员工操作来训练 AI，原因是真实办公中 AI Agent 表现不佳。SaaS - Bench 评测显示顶级大模型表现糟糕，智能体存在长周期任务脆弱、跨应用错误放大等问题，未来 SaaS 软件或需为 Agent 重新设计。

如何让AI在3D环境中像人类一样思考，是具身智能领域难题。UCLA与谷歌团队带来3DLLM - MEM模型与3DMEM - BENCH基准，让AI有构建、维护和利用长时记忆能力，实验超基线16.5%，但有依赖模拟器预设的局限。

OpenAI凌晨发布GPT-5.2，把专业级AI门槛拉到新高度。它有6大核心技术突破，精准戳中职场痛点。在GDPval基准测试中表现出色，有三级模型矩阵，不同版本满足不同需求，各方面能力均有显著提升。