「评测指南」共找到 949 篇相关文章
北航领衔发布300页代码智能综述:从基础模型到智能体,一次读懂Code LLM全景图
北航领衔联合近30家机构撰写《From Code Foundation Models to Agents and Applications》,系统梳理代码智能领域,串联模型、任务等成完整技术链路,还通过实验等给出实践指南。
当世界模型不止「视频」该如何评估?WorldLens提出实用化评估新框架
生成式世界模型在多领域进展显著,但评估存在局限。WorldBench 团队构建 WorldLens 评测框架,从五个维度评测开源世界模型,其评测 EvalKit 已公开,可暴露模型能力边界与失效模式。
Agent记忆赛道大洗牌!LoCoMo-Refined重磅发布,主流记忆框架迎来核心检验
南京大学与上海人工智能实验室联合推出 LoCoMo-Refined,这是严苛的 Agent 记忆评测基准。它指出当前记忆评测基准有两大漏洞,在其标准下主流记忆框架得分普降,且相关数据集和评测脚本已开源。
JEPA、空间智能路线正面交锋:WorldArena 2.0 挑战赛开考「能不能被机器人真正用起来」| IROS 2026
本文报道了清华团队联合海内外多校推出的WorldArena 2.0世界模型评测挑战赛,升级评测体系覆盖从视频生成到真实机器人操作全维度,公布各赛道结果,并对话主办方解读行业现状与评测设计。
Auto Research最后一块拼图,Frontier-Eng Bench登场,在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization,搭硬核评测系统,覆盖47个横跨5大工程方向的任务。评测多种模型,结果显示gpt 5.4最稳健,但距资深工程师水平尚远。
一夜200万阅读,OpenAI神同步!这项测评框架让全球顶尖LLM全翻车
中国团队领衔全球24所高校机构发布评测LLMs for Science能力的论文,一夜阅读近200万,同一时间OpenAI也发文指出现有评测标准在AI for Science领域失灵。论文推出评测体系SDE,发现主流大模型在科学发现上短板明显。
干货|4000 字深度拆解:Agent Native 时代的本体论实践
火山引擎数智平台推出知识引擎 VeKnow,通过 Agent Harness 架构实现自动化本体构建与持续评测,在制造售后场景中将交付周期由四周压缩至最快一周。
OpenClaw大考!上海AI Lab InternLM团队WildClawBench 60题,把「龙虾」AI打回原形
上海人工智能实验室InternLM团队推出WildClawBench,含60道高难度任务,在真实OpenClaw环境端到端评测AI Agent。评测涵盖多类别任务,已测14个模型,国产模型表现亮眼,项目开源可复现。
CVPR 2026 Highlight|让家电「在仿真中运转起来」,北大正式发布RealAppliance!
北京大学团队提出 RealAppliance 数据集与 RealAppliance - Bench 评测基准。前者收录 100 个精细家电资产,与真实产品系统多层面对齐;后者围绕五项任务评估模型家电操作规划能力,实验显示主流模型仍面临挑战。
Anthropic万字Skills教程,把Agent工程的核心武功秘籍说明白了
Anthropic官方发布33页Skills构建指南,详细介绍构建高效Skill的方法,涵盖基础概念、规划设计、测试迭代、分发共享等内容。还提及openai用codex agent做项目的经验,指出人类审查成瓶颈,引出渐进式披露的核心秘籍。