「评估标准」共找到 1025 篇相关文章

开源动态8

o3绞尽脑汁仅答对40%的题目,开源模型基本乱猜?MMSI-Bench:多图空间智能试金石

文章介绍了MMSI - Bench,这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板,还开发自动化错误分析流程助力改进。

量子位
算法论文8

美团LongCat扎扎实实做了件难事:LLM数学新天花板AMO-Bench

美团LongCat团队联合高校推出AMO - Bench,用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点,经四重把关构建,测试显示顶级模型表现不佳,也揭示模型提升空间大。

PaperAgent
算法论文8

Agentic AI的第三种范式来了,16家机构提出「伴身智能体」

16家海内外高校与科研机构的22位研究者提出ComBodied Agents新范式,它围绕人的长期状态与主体性构建。论文给出闭环技术框架与评测标准,还提到研究难点与风险,也为产品实践提供指导。

机器之心
开源动态8

Agent记忆赛道大洗牌!LoCoMo-Refined重磅发布,主流记忆框架迎来核心检验

南京大学与上海人工智能实验室联合推出 LoCoMo-Refined,这是严苛的 Agent 记忆评测基准。它指出当前记忆评测基准有两大漏洞,在其标准下主流记忆框架得分普降,且相关数据集和评测脚本已开源。

AI科技评论
推荐文章8

5 分钟搞懂开源大模型选型核心维度,16G显卡也能选对

文章以作者自身经历引入,指出开源大模型选型易陷入‘越大越好’误区。讲透选型4个核心维度,含实操步骤与避坑指南,还介绍选后评估方法,助新手快速锁定适配模型。

机器学习AI算法工程
推荐文章7

10个面向前端开发者的MCP服务器

MCP是Anthropic推出的开放标准,让大模型与外部系统交互。本文介绍10个面向前端开发者的MCP服务器,如Canva、Dart等,还提及实验性的Angular MCP服务器,阐述各服务器功能及对开发者的帮助。

InfoQ
产品应用8

98%财务顾问依赖AI,揭秘7家先锋企业如何解锁商业新格局

OpenAI报告剖析7家前沿公司应用AI经验。如摩根士丹利评估后让98%财务顾问用OpenAI;Indeed用GPT - 4o mini优化职位匹配;Klarna用AI客服助手提升效益等,展示AI重塑企业运营的潜力。

新智元
推荐文章7

2026跳槽暴富指南:这些公司的期权,可能比你的年薪值钱10倍

2026年为中国科技公司IPO大年,众多公司上市后员工获丰厚收益。文章列举小红书、月之暗面等公司,分析其期权价值与上市可能性,给出评估期权的框架及投资风险提醒。

AI Reading Hub
算法论文8

YC总裁转发、登顶Hacker News:SkillsBench揭开Agent技能扩展的残酷真相

近日论文《SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks》引发海外AI社区关注。研究聚合47150个Skills,经严格筛选评估,揭示人工构建Skills效果好、AI自生成无效等核心发现,为AI研发指明路径。

机器之心
算法论文8

邱锡鹏老师团队发布VehicleWorld:让智能汽车真“智能”

邱锡鹏老师团队发布论文,构建高度仿真的智能座舱虚拟环境VehicleWorld,并提出基于状态的函数调用(SFC)方法。实验显示,SFC大幅提升任务执行准确率和效率,还构建了Vehicle Benchmark进行评估。

深度学习自然语言处理