算法论文8

南大团队：最强模型视频理解得分远低于人类

新智元2026-04-13

AI 摘要

南大傅朝友团队推出Video - MME - v2评测基准。评测显示人类得分90.7，最强商业模型Gemini - 3 - Pro仅49.4。还发现传统Acc指标虚高，‘Thinking’依赖文本线索，未必总能提升性能。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

实测阶跃Step 5 Preview工程能力

本文作者池建强参与阶跃星辰新一代旗舰大模型Step 5 Preview小范围内测，设置带两层bug和隐藏需求的编码工程题，与Qwen 3.8 Max、Kimi K3对比测试，分享实际项目使用体验，给出客观评测。

本文作者实测600B参数量的阶跃Step 5 Preview大模型，从写码、幻觉控制、写作三个维度，对比GPT及其他国产头部模型，分享无滤镜真实体验，给出选型参考。

最新爆料，Gemini 3.8 Flash明日登场，谷歌已放弃Gemini 3.5 Pro。其编程实力强悍，之前还为Gemini植入智能体视频理解功能，降本提效，可应对多种高难度场景。近期多家AI发布计划撞车，混战升级。

作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。