「自演进评测」共找到 1866 篇相关文章
5Y View|欢迎来到评测时代
强化学习推动AI突破,模型将刷爆既有评测,AI实验室面临评测饥荒。构建评测与RL环境是利用人类时间的高效方式,不同领域有不同验证方式,Mercor已率先拓展RL数据边界。
如何定义“人味儿”?——HeartBench评测体系建设实践
在大模型竞争格局生变,情感智能评测缺失的背景下,作者团队发布聚焦AI拟人化的中文评测体系HeartBench,介绍其设计、评估方式、迭代过程等,还沉淀了评测体系构建方法论及专家标注管理思考。
AI点外卖哪家强,美团LongCat团队做了个全面评测
美团LongCat团队发布贴近生活场景的大模型智能体评测基准VitaBench,以三大高频生活场景为载体,构建含66个工具的评测环境。评测显示现有智能体与应用需求差距大,该基准已全面开源。
大模型能否为不同硬件平台生成高性能内核?南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核,当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench,打破现有评测基准局限,构建模块化评测体系,多模型实测,还指出LLM短板并明确未来方向。
基于阿里云 AgentLoop 的 DeepSeek Harness 评测实践
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
我们对 Coding Agent 的评测,可能搞错了方向
用户对 Agent 不满常因它「做得不好」,不遵循指令和规范。当前主流评测体系以结果为导向,与真实场景错位。MiniMax 开源 OctoCodingBench 评测集,结果显示模型过程规范遵循不足,未来训练需引入过程监督。
Agent 下半场:真正能自进化的 Agent 应该是什么样的?
当下 Work Agent 难以稳定完成复杂长程任务,且经验无法沉淀。EvoMap 提出自组织蜂群架构,通过 AutoResearch 落地验证,探索 AI4AI 方向,构建记忆和连接的三层产品结构,推动 Agent 网络自进化。
视觉强≠能干活!清北普林斯顿等开源WorldArena,世界模型评测被颠覆
2026 年 2 月 13 日,清华、北大等顶尖机构联合推出的 WorldArena 面向全球开源。这是首个‘功能 + 视觉’统一评测体系,撕开了‘美丽视频’伪装,让评测从‘审美导向’走向‘功能导向’。
翁荔新博客提出「自进化先从Harness开始」,DeepSeek崔添翼转发附议
前OpenAI安全副总裁翁荔新博客探讨AI自进化,提出从Harness开始的现实路径。DeepSeek崔添翼转发附议,认为Harness方向自进化很可能出成果。翁荔梳理研究,展示优化递进趋势,也指出实现递归自我改进存在的瓶颈。
鹏城实验室 X 中大hcp实验室推出 RADAR : 具身智能评测的新标杆
RADAR是鹏城实验室与中大hcp实验室为具身智能领域设计的评测基准,解决现有评测体系三大缺陷,通过创新设计揭示模型不足,为研究者提供方向,推动具身智能实用化。