「评估」共找到 724 篇相关文章
复杂的Harness Evolution，甚至不如多跑几遍
本文解读AI2与华盛顿大学最新研究，针对热门Agent Harness Evolution方向，通过公平对照实验检验方法真实收益，戳破研究误区，引发对Agent评估标准的反思。
「AI 100」榜单启动招募，AI产品“年会”不能停丨量子位智库
2025年国内AI产品领域涌现诸多关键词，对应多款颠覆性产品。量子位智库2025年度「AI 100」榜单开启招募，分三大板块，采用定量与定性结合评估体系，还公开自研AI产品知识库。
The Batch：831 | 机器翻译正在实践中发挥作用
人工智能为语言学习应用巨头 Duolingo 带来生产力提升，借助生成式 AI 构建 148 门课程，总量翻倍。其 AI 辅助课程构建法能快速转化多语种版本，还在评估多模型，不过此举也引发批评。
首个英文原生「弱智吧」！逻辑谬误数据集与生成框架来了 | AAAI'26
研究发现大模型判断逻辑谬误易误报正常句子，但分类能力较强。研究人员构建英文逻辑谬误基准SMARTYPAT - BENCH，开发生成框架SMARTYPAT，为大模型逻辑评估提供新思路，可用于多领域。
研究表明，开源能推动AI创新和经济增长
Siliconangle消息，Linux基金会新研究显示开源对全球经济贡献达9万亿美元。其首席经济学家Frank Nagle指出，AI加入使开源价值评估方式改变，计算开源AI价值复杂，参与开源项目能增加经济价值。
正确答案 ≠ 正确推理，CoT 或成大模型推理能力停滞的「罪魁祸首」？
研究指出当前大模型推理能力评估多关注答案准确性，忽视推理步骤。通过对前沿模型测试发现，2023 - 2024 年大模型推理能力提升停滞，进步靠提示工程，自底向上策略最有效。
Anthropic 提出透明度框架以保障前沿 AI 发展
Anthropic提出新透明度框架，针对大型AI公司，实施安全开发框架评估并减轻潜在风险，要求公开披露SDFs和系统卡片，小型公司豁免，还设执行合规条款，旨在平衡安全与创新。
Google | 溯源分析RAG系统错误，提出选择性生成框架，让RAG问答准确率提升10%
Google对RAG系统错误深入分析，引入‘充分上下文’概念，指出幻觉或因上下文不足。构建评估器，提出选择性生成框架，结合多信号决策，实验显示可让RAG问答准确率最高提升10%。
「AI 100」榜单启动招募，AI产品“年会”不能停丨量子位智库
2025年国内AI产品关键词频现，各有代表性产品。量子位智库2025年度「AI 100」榜单开启招募，分三大板块，用定量与定性结合评估体系，还公开AI产品知识库。
刚刚，OpenAI宣布内部模型批量攻破100多道数学难题，普林斯顿高研院正式介入
本文报道OpenAI最新AI进展，其内部新模型批量攻破100多道长期悬而未决的公开数学难题，联合普林斯顿高等研究院成立独立学术顾问小组规范成果评估，引发数学界震动。