「基准评测」共找到 1324 篇相关文章
Claude、GLM、GPT谁才是真正的AI软件工程师？首个持续更新Visual Spec-to-App Benchmark发布
近年来，Coding Agent 发展迅速，「AI 软件工程师」渐成现实。但目前缺少系统评测其从设计稿开发产品能力的公开 Benchmark。为此，多校研究团队推出 VISTA，可多维度评测 Coding Agent 开发能力，且持续更新。
顶尖AI竟输给三岁宝宝，BabyVision测试暴露多模态模型硬伤
UniPat AI 等发布多模态理解评测集 BabyVision，测试显示多模态大模型纯视觉能力仅达三岁幼儿水平。其通过对比实验、细分任务评测，揭示模型系统性缺基础视觉能力，还给出新方向及发展建议。
GPT-5.2首发评测：大神深度体验两周，强到离谱，但慢得抓狂
为对抗谷歌的Gemini 3，OpenAI推出GPT - 5.2。大神Matt Shumer深度评测，指出其指令遵循、代码生成、视觉和长上下文等能力有提升，但速度慢。与Claude Opus 4.5、Gemini 3 Pro各有分工。
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。
GPT-5仅23.3%，全球AI集体挂科！地狱级编程考试，夺金神话破灭
最新基准测试SWE-Bench Pro评估AI编程智能体，直面真实企业级工程任务。顶尖模型几乎溃败，GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题，能成未来LLM编码能力标尺。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
火了！刚刚，李飞飞2篇最新文章发布！
AI圈近期被李飞飞两篇重磅文章刷屏，一篇阐述空间智能愿景，指出当前AI缺乏空间智能，其创办的World Labs提出世界模型；另一篇论文揭示当前视频理解基准自欺欺人，还提出新基准VSI - SUPER及预测性感知新范式。
定义RAG新基准？谷歌发布 Gemini Embedding 2：首个原生多模态嵌入模型，延迟骤降70%
谷歌昨夜推出首个基于 Gemini 架构的原生多模态嵌入模型 Gemini Embedding 2，通过 Gemini API 和 Vertex AI 向开发者公开预览。它可将多类型数据映射到统一嵌入空间，多项基测排名第一，还获早期合作伙伴高度评价。
挺意外的，Agent长期记忆潜力被AMemGym挖出来了
论文提出交互式在线策略评测框架AMemGym，它能反映AI助手长期记忆能力、驱动Agent自我进化记忆。它以结构化状态演化为骨架支撑自由对话评测，还对主流记忆系统做了扫描，带来评估与训练范式转换。
首个OpenClaw智能体宿主机性能评测报告：单机可稳定运行96路Agent实例
OpenClaw成中小企业AI利器，但企业部署面临效率、并发和安全问题。浪潮信息基于元脑x86服务器完成测试，发布评测报告，该服务器单机可稳定运行96路Agent实例，还支持一键配置、多用户隔离。