「MMMC评测集」共找到 1085 篇相关文章
CVPR 2026 Highlight｜让家电「在仿真中运转起来」，北大正式发布RealAppliance！
北京大学团队提出 RealAppliance 数据集与 RealAppliance - Bench 评测基准。前者收录 100 个精细家电资产，与真实产品系统多层面对齐；后者围绕五项任务评估模型家电操作规划能力，实验显示主流模型仍面临挑战。
同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？
编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。
CVPR2025 | 多模态LLM评测Tutorial
多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。
最新12种GraphRAG技术全面评测
6月两篇论文对12种GraphRAG技术评测。GraphRAG通过构建图结构组织知识，在复杂推理等任务中优于传统RAG。不同GraphRAG技术在图构建、知识检索上表现各异，如RAPTOR图构建慢但令牌消耗少。
EvaLearn：AI下半场的全新评测范式！
OpenAI研究员指出传统基准测试难衡量AI实际效用。复旦大学与字节跳动等团队提出全新评测范式EvaLearn，以连续问题求解为核心，构建问题并设评分标准，对九个前沿大模型研究有诸多发现。
Anthropic更新了Skill Creator，评测框架上线
Anthropic更新Skill Creator，上线评测框架。该框架无需写代码，能处理两类技能测试需求，可测试和改进技能，有捕获质量回归等用途。还增加基准模式、多Agent支持等，能让技能触发更可靠，更新已在Claude.ai等可用。
BrowseComp等评测集第一，秘塔推出「深度研究」，已开启免费公开访问
世界变化快，AI领域新概念不断。秘塔在上线“浅度研究”五个月后，将其升级为“深度研究”。该模块最初由OpenAI推出，秘塔版可免费公开访问，准确率优，还让研究过程可见。
24个Agent工作流框架用哪个? 11个维度全面评测
LLM发展推动自然语言理解进步，国产LLM密集发布。文章从功能能力和架构特性两维度，对24个智能体工作流框架全面评测，给出关键结论，还提及优化策略、应用领域等。
Show me《指环王》！卡帕西强推大模型评测新基准
大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度，这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙，但网友测试展现出丰富创意，不过新测试也引发争议。
Gaia2 与 ARE：赋能社区的智能体评测
文章介绍 Gaia2 与 ARE，Gaia2 是智能体基准 GAIA 升级版，能分析复杂行为，与 ARE 框架一同发布。ARE 可模拟复杂真实条件，支持定制。文中对比多款模型，指出当前模型挑战，并说明评测步骤和 ARE 使用场景。