「评测维度」共找到 836 篇相关文章
南大团队直击大模型高分神话：人类90分，最强模型仅49分
南京大学傅朝友团队在Google Gemini评测团队邀约下推出视频理解新基准Video - MME - v2。它有创新的分层能力体系与组级非线性评分，经超3300人工时标注。评测显示模型与人类差距大，还揭示传统Acc指标虚高、‘Thinking’并非总增益等现象。
AgentIF-OneDay 发布，评估全场景长时复杂任务
红杉中国 xbench 发布 AgentIF - OneDay 评测体系，用于评估大模型解决复杂任务的能力。该体系从任务复杂度新视角出发，沿 Scaling Context 和 Scaling Domain 推进，构造了三类典型任务进行测评，揭示了主流 Agent 的能力边界。
正式版发布！DeepSeek-V4-Pro-0813
8月13日晚，DeepSeek-V4-Pro-0813正式版发布。此次升级将Agent维度提升至无短板的第一梯队，具备1M+384K长任务能力，接口双兼容，技术创新多。还公布评测对比、价格并发设定，给出实战代码案例与启示。
Agent记忆赛道大洗牌！LoCoMo-Refined重磅发布，主流记忆框架迎来核心检验
南京大学与上海人工智能实验室联合推出 LoCoMo-Refined，这是严苛的 Agent 记忆评测基准。它指出当前记忆评测基准有两大漏洞，在其标准下主流记忆框架得分普降，且相关数据集和评测脚本已开源。
Auto Research最后一块拼图，Frontier-Eng Bench登场，在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。
一夜200万阅读，OpenAI神同步！这项测评框架让全球顶尖LLM全翻车
中国团队领衔全球24所高校机构发布评测LLMs for Science能力的论文，一夜阅读近200万，同一时间OpenAI也发文指出现有评测标准在AI for Science领域失灵。论文推出评测体系SDE，发现主流大模型在科学发现上短板明显。
一篇95页最新80种Deep Research系统全面综述
浙大研究深度研究系统领域，分析自2023年以来80多个相关实现，提出4维度分层分类法，全面分析4种实现架构，还阐述各维度演变进步。
多模态RAG哪家强？9 个 Embedding、4 类 MLLMs、4 大框架实景比拼
现有文档 RAG 评测存在不足，华南理工和华科推出 DOUBLE - BENCH 进行多模态 RAG 实战评测，结果显示检索是瓶颈，模型爱胡说。快手开源 Keye - VL - 1.5 - 8B，PaperAgent 有实操指南。
OpenClaw大考！上海AI Lab InternLM团队WildClawBench 60题，把「龙虾」AI打回原形
上海人工智能实验室InternLM团队推出WildClawBench，含60道高难度任务，在真实OpenClaw环境端到端评测AI Agent。评测涵盖多类别任务，已测14个模型，国产模型表现亮眼，项目开源可复现。
CVPR 2026 Highlight｜让家电「在仿真中运转起来」，北大正式发布RealAppliance！
北京大学团队提出 RealAppliance 数据集与 RealAppliance - Bench 评测基准。前者收录 100 个精细家电资产，与真实产品系统多层面对齐；后者围绕五项任务评估模型家电操作规划能力，实验显示主流模型仍面临挑战。