学术评测体系」共找到 1298 篇相关文章

开源动态7

开启Benchmark的Harness时代:15家学术机构联合发布HarnessEval

8月13日,DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日,MirroS联合多机构发布HarnessEval,将其概念引入评测系统。它使评测从Metric到Harness,形成可执行评测系统,已落地于交互式世界模型。

机器之心
算法论文8

AAAI 2026|视频大语言模型到底可不可信?23款主流模型全面测评来了

合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs,对 23 款模型从五维度 30 项任务评测,揭示性能格局,指出模型现存问题,还开源评测框架等。

机器之心
算法论文8

Auto-Research「终极大考」:新基准撕下大模型科研伪装

来自多所高校的研究者提出MLS - Bench,用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务,校准受控修改范围,主实验显示当前模型在方法发现上有明显缺口,Auto - Research需更严格评测标准。

机器之心
开源动态7

4.2w颗星!学术科研 AI 工作流

这是一套有4.2w颗星的学术研究技能包,涵盖研究到论文出版全流程。它不替写论文,接手搜文献等杂事。有四个核心skill,支持多文献引用格式,能编译成PDF,还介绍了安装和使用方式。

GitHubStore
开源动态8

多模态Deep Research,终于有了「可核验」的评测标准

俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench,将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务,覆盖 19 领域,把评估拆成 3 段管线、12 指标,强调过程证据链。

机器之心
新闻资讯8

大模型进入研发体系后,我们看到了这些变化

InfoQ《极客有约》X AICon 直播邀请同程、网易、百度工程师,探讨大模型入研发体系的变化。涉及提效、协作、角色分工等方面,还谈及工程师特质、效率焦虑、岗位数量等问题,6 月北京 AICon 大会将深入交流。

InfoQ
推荐文章7

Agent 看板门禁:构建 Agent Team 的 Harness 工程防御体系

文章以 Routa 看板项目卡为例,阐述 Agent Team 的 Harness 工程防御体系。指出任务完成不等于交付结束,强调 Gate First 理念,即先确认可验证状态再推进协作,还提及运行时边界等重要概念。

phodal
新闻资讯8

大模型进入研发体系后,我们看到了这些变化

InfoQ《极客有约》X AICon 直播邀请同程、网易、百度工程师探讨大模型入研发体系的变化。指出其在提效、协作、分工上作用大,还分析了适用场景、工程师收益类型及核心竞争力等,也提及效率评估、代码生成等问题。

AI前线
算法论文7

DeepSeek连发两篇论文背后,原来藏着一场学术接力

2026年1月,DeepSeek连发两篇论文,一篇解决信息稳定流动,另一篇聚焦知识高效检索。研究发现其与字节Seed团队存在“接力”,如mHC改进字节Seed的HC,Conditional Memory引用多项工作,梳理关系能助理解论文与架构创新方向。

机器之心
开源动态8

谷歌北大联手学术版Banana爆火,论文图表100%精确生成

谷歌与北大联手推出学术版PaperBanana,能100%精确生成论文图表,美观度和逻辑清晰度超原版。它由5个智能体分工协作,经实验在各维度超越传统基线方法,已在GitHub获上千star。

量子位