「评测系统」共找到 2228 篇相关文章
上海交大/上海AI Lab翟广涛：当评测不再重要，AGI就实现了
上海交通大学教授翟广涛认为完美的AI评测体系等同于通用人工智能。当下评测体系存在数据污染、原子化能力评测局限等问题，他主张回归‘以人为本’，团队提出相关框架和技术路径，目标是训评一体。
大模型微调评测入门：看懂这些指标，才知道模型好不好
文章指出大模型微调中很多新手重“调”轻“评”，评测是决定模型落地的关键。介绍分类和生成任务评测指标，给出实操步骤，还说明如何综合判断模型好坏，最后展望评测技术朝自动化等方向发展。
信息熵之后，清华提出状态熵！量化分析「系统智能性」的全新视角
清华大学科研团队从自治系统的演化动力学出发，提出状态熵概念，分析其与系统聚合度关系，为系统智能性度量提供新视角。论文给出状态熵统一定义及演化解析表达式，还在典型系统上分析其演化规律。
AI医生终于有了硬标尺！全球首个专病循证评测框架GAPS发布，蚂蚁联合北大王俊院士团队出品
蚂蚁健康与北大王俊院士团队发布全球首个大模型专病循证能力评测框架GAPS及评测集GAPS - NSCLC - preview，解决现有医疗AI评测局限，成果已应用于“蚂蚁阿福”，并客观评价了大模型临床能力。
假设 AI 未来真的能在写代码和系统设计上超过人类，那还有必要学习编程和系统设计吗？
文章围绕AI未来在编程和系统设计上能否超人类展开探讨。分析AI编程效率未达预期的原因，指出短期内不会有完全面向AI的软件架构，还强调学习编程和系统设计知识可培养解决问题的能力。
检索做大，生成做轻：CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中，系统评估RAG语料规模与生成模型规模替代关系。实验表明，语料扩容可让小模型追上大模型，提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。
5Y View｜欢迎来到评测时代
强化学习推动AI突破，模型将刷爆既有评测，AI实验室面临评测饥荒。构建评测与RL环境是利用人类时间的高效方式，不同领域有不同验证方式，Mercor已率先拓展RL数据边界。
如何定义“人味儿”？——HeartBench评测体系建设实践
在大模型竞争格局生变，情感智能评测缺失的背景下，作者团队发布聚焦AI拟人化的中文评测体系HeartBench，介绍其设计、评估方式、迭代过程等，还沉淀了评测体系构建方法论及专家标注管理思考。
前 DeepMind 研究员反思：评测，而非算力或数据，才是下一阶段的瓶颈
前 Google DeepMind 高级研究员 Lun Wang 在技术长文中指出，当前主流评测体系滞后，静态基准会“安静失效”。作者主张引入序参量，呼吁构建自演进评测，还为一线工程师提供了研发建议。
李飞飞的World Labs联手光轮智能，具身智能进入评测驱动时代！
李飞飞旗下World Labs与光轮智能联手，瞄准具身智能「规模化评测」问题。World Labs的Marble是生产力工具，而光轮智能有自研仿真技术体系，双方合作让规模化评测成为可能，具身智能迈入评测驱动时代。