新闻资讯7

GPT - 5等大模型‘数手指’测试频频翻车

机器之心2025-08-11

AI 摘要

CMU博士生Tairan He测试发现GPT - 5等顶尖大模型面对‘数手指’这类常识问题易出错，指出语言难满足视觉需求。学者们认为应严谨评估视觉能力，视觉 - 语言模型需更强视觉基础。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

ASI - Bench：测AI距自主科研有多远

ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。

前两天J-Space凭夸张测试结果刷屏，宣称一份Skill接入Agent环境，能让V4 Pro在多基准大幅提升，部分成绩超Fable 5。但社区复测结果相反，作者未公开完整评测记录，还删质疑帖，引发公开打假。

Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。

南洋理工大学等团队推出NEO - ov模型，挑战传统「视觉编码器 + 大模型」范式，直接从原始像素学语言。它在多任务表现出色，尤其空间智能突出，但在OCR等方面有短板，展现原生多模态建模潜力。