开源动态8
MMSI - Bench测MLLM空间推理短板
量子位
AI 摘要
MMSI - Bench团队:MMSI - Bench评估34个MLLM,发现模型在多图像空间推理举步维艰,开源落后商业,规模扩增效有限,还开发自动化流程找短板,推动多模态AI发展。
阅读原文 · 量子位
o3绞尽脑汁仅答对40%的题目,开源模型基本乱猜?MMSI-Bench:多图空间智能试金石
文章介绍了MMSI - Bench,这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板,还开发自动化错误分析流程助力改进。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
腾讯开源框架,一句话造3D世界
香港科技大学(广州)和腾讯团队开源VibeWorlding框架,实现说句话造3D世界。它由VWE - Bench和VibeWorlding - Gym组成,开源模型经强化学习训练后成绩逆袭,证明强化学习解锁3D推理潜力巨大。
AIGC开放社区
开源动态7
Qwen3.8 - 27B登顶开源榜,挑战闭源模型
8月17日,阿里发布的Qwen3.8 - 27B成Hugging Face热门第一。它以27B参数在部分测试中与前沿闭源模型比肩,可本地运行。不过推理慢、真实任务表现待提升,它让前沿Agent能力下放到个人电脑。
AI科技评论
开源动态8
阿里开源Qwen3.8-27B,性能直逼顶尖模型
阿里Qwen团队开源Qwen3.8-27B,上线2天登顶Hugging Face全球大模型趋势榜,下载破百万。其性能超Opus4.6,与顶尖模型相当,量化后普通电脑就能跑,原生多模态,编程、Agent、多模态跑分表现出色。
AIGC开放社区
开源动态7
Prime Intellect:开源模型+Harness逼近顶级闭源模型
开源AI基础设施公司Prime Intellect研究表明,借助多智能体Harness,让开源模型负责监控和实现,可让‘AI开发AI’更便宜、效果更好。实验中,Kimi K3搭配Harness逼近Opus 5。
量子位