「学术评测体系」共找到 1293 篇相关文章
二元成功率已经过时！PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。
到底是谁在推崇 Nature、Science？——一场跨学科评价体系的结构性误解
文章指出不同学科对 Nature、Science（N/S）态度差异大，基础学科不看重，应用学科推崇。原因在于学科生态差异，N/S 是传播器，下游学科需其传播成果，大奖评价与 N/S 体系不同，国内不应将其‘工具化’。
首个用户生活「长程模拟器」来了！LifeSim 重新定义大模型个性化评测
现有个性化助手评测基准与真实用户-助手交互脱节，来自复旦大学等的研究人员提出 LifeSim 框架及 LifeSim-Eval 评测方法。实验显示主流 LLM 处理显性需求尚可，隐性意图识别等方面短板明显。
九章云极发布AI工厂体系：破解140万亿Token时代的落地悖论｜甲子光年
九章云极于6月17日发布Alaya NeW AI工厂体系，锚定十万P算力、十万亿Token、千个模型、千倍降本四大目标。该体系是智能工业化的必然产物，能解决资源难转生产力的难题，还具备技术效能、生态范式和商业飞轮三大支柱。
别再用单选评测骗自己了！Amazon新论文揭示了大模型在多选题中的3种系统性偏差
Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。
具身智能算法哪家强？RoboChallenge见真章！全球首个大规模真机算法评测平台来了
Dexmal原力灵机联合Hugging Face推出RoboChallenge项目，它是全球首个大规模、多任务的真实物理机器人基准评测平台。该平台创新采用‘远程机器人’架构，有30项真实任务基准集等，已验证多种算法表现。
AI顶会反噬整个学术圈！「不发表就会死」，NeurIPS爆仓，博士年肝4.5篇大崩溃
NUS研究者指出，NeurIPS等AI顶会投稿量激增，正反噬学术圈。当前模式存在结构性危机，如学术产出泡沫化、环境代价高、研究者心理负荷大等。为此，他们提出“社区联邦会议”（CFC）模型以解决问题。
AgentIF-OneDay 发布，评估全场景长时复杂任务
红杉中国 xbench 发布 AgentIF - OneDay 评测体系，用于评估大模型解决复杂任务的能力。该体系从任务复杂度新视角出发，沿 Scaling Context 和 Scaling Domain 推进，构造了三类典型任务进行测评，揭示了主流 Agent 的能力边界。
阿里安全AGI一次发布3款LLM，8B多维度领先GPT-5.4
近期，阿里安全AGI实验室发布3款Yuvion LLM，在AI安全与内容安全领域多维度领先。它以‘对抗即智能’为原则，构建五类数据体系，采用三阶段训练范式，通过YLRE四级评测体系验证能力。
CVPR2025 | 多模态LLM评测Tutorial
多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。