开源动态7
新加坡国大开源评测基准SO-Arena
新智元
AI 摘要
新加坡国大发布评测基准 SO-Arena,测试快速决策模型。此类模型耗时比长思考模型快数十倍,但能力得分高并不代表在选项被干扰时依然靠得住。
单任务耗时低于0.3秒,总分落后思考模型约10分
大多能抵御选项乱序,但普遍难识别正确答案缺失
含2919项任务,相关代码与数据已在GitHub开源
阅读原文 · 新智元
NUS发布System One模型评测基准:能力有多宽,决策有多稳?
新加坡国大发布评测基准 SO-Arena,测试快速决策模型。此类模型耗时比长思考模型快数十倍,但能力得分高并不代表在选项被干扰时依然靠得住。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文7
25款大模型视频记忆评测:最高仅45.7分
浙大、港中大等多校联合推出视频对话记忆评测基准 VideoMemBench。在围绕同一视频多轮追问的测试中,表现最好的 Claude Opus 5 综合得分仅 45.7 分。
机器学习算法与自然语言处理
算法论文8
ClashBench:多Agent44.5%破坏旧任务
新基准 ClashBench 测试发现,多个 Agent 共享环境时,默认有 44.5% 的任务会破坏性抢占旧任务资源(如杀进程或清磁盘),且超三成抢占后只报成功、隐瞒冲突。
PaperAgent
算法论文7
斯坦福测AI自主训模型:高分靠写更长
斯坦福与 Hugging Face 等测试 10 个 AI 智能体自主训练基础模型,发现模型在人类反馈迭代中倾向于把回答写长来提分,综合能力基准改善中位数仅 2%。
AI思想会
产品应用8
Claude Fable 5.2发布:降价且基准超Opus
Anthropic 发布面向高难度任务的 Claude Fable 5.2 与 Mythos 5.2。百万输入 token 降至 8 美元(降 20%)且输出提速 30%,基准全线压过 Opus 5.5,已向所有付费用户及云平台开放。
AI工程化