「测试评估集」共找到 2678 篇相关文章
马斯克Grok-4卖货创收碾压GPT-5！AI卖货排行榜曝光，AGI的尽头是卖薯片？
新智元报道，「Vending Bench」榜单让大模型经营自动售货机一较高下。Grok - 4卖货能力超GPT - 5，销量约高2倍，营收增31%。此测试揭示AI长周期决策挑战，引发AGI定义讨论。
清华&Qwen最新论文实证： VLM 智商与机器人操控能力“零相关”
清华和 Qwen 最新论文《VLM4VLA: Revisiting Vision - Language Models in Vision - Language - Action Models》测试 24 个 VLM 模型，构建极简 VLM4VLA 测试，发现 VLM 通用能力与机器人操控能力‘零相关’，还揭示视觉编码器短板。
刚刚！Meta把大模型塞进脑机接口，隔空读脑直逼开颅植入水平，代码全开源
Meta推出Brain2Qwerty v2，号称性能最强端到端方案，能基于非侵入式脑部记录实现实时句子级解码，准确率逼近开颅手术水平。还开源代码，公开数据集，旨在帮脑损伤患者交流。
出自小米的模块化图像编辑改造：让 AI 学会「搭积木」
小米研究团队发布 Lego-Edit 图片编辑框架，将复杂编辑任务拆成工具集和调度系统，工具集模型各司其职，调度系统指挥操作。采用渐进式训练，性能优、扩展性好，体现协同智能优势。
一夜之间OpenAI神秘模型“o3-alpha”刷爆时间线：远胜 Claude Sonnet
OpenAI神秘新模型“o3-alpha”正在测试，刷爆时间线。早期测试显示其性能超强，能一键生成游戏，前端编码能力远胜Sonnet、o3等。有猜测它是AHC模型或OpenAI将开源的模型。
鹅厂实习生血泪贴：Agent/RAG黑科技，真相竟是这样！
腾讯实习生分享鹅厂项目实战经验，介绍Agent/RAG黑科技。先讲RAG原理、优化方法及评估流程，还提及文档解析；再阐述智能体定义、历史、原理、分类、评估框架与实践案例，助读者快速入门。
o3-pro通关“推箱子”，人类怀旧小游戏成了大模型新Benchmark
推箱子、俄罗斯方块等经典小游戏成大模型benchmark，o3 - pro挑战这两款游戏表现出色，突破benchmark上限，成绩远超o3。Lmgame含多款游戏，有不同评价方式，且开源可用于模型测试。
Notion、Stripe 都在用的 Agent 监控，Braintrust 会是 AI-native 的 Datadog 吗？
当 Agent 迈向产品化，开发者面临观测、评估和优化黑箱系统的挑战。Braintrust 由 Ankur Goyal 于 2023 年创立，重塑 Observability，提供 Eval 和 Ship 模块，获多家头部公司青睐与投资。文章从多方面剖析其能否成 Agent 时代‘新 Datadog’。
谷歌 DeepMind 发布机器人学基础模型 Gemini Robotics On-Device
谷歌 DeepMind 推出 Gemini Robotics On-Device，这是视觉 - 语言 - 行动基础模型，可在机器人硬件本地运行，低延迟且能针对特定任务微调。它是 Gemini Robotics 家族最新迭代，还发布相关基准测试。模型待广泛可用，SDK 可在 GitHub 找到。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。