「评估指标」共找到 945 篇相关文章
正确答案 ≠ 正确推理，CoT 或成大模型推理能力停滞的「罪魁祸首」？
研究指出当前大模型推理能力评估多关注答案准确性，忽视推理步骤。通过对前沿模型测试发现，2023 - 2024 年大模型推理能力提升停滞，进步靠提示工程，自底向上策略最有效。
文档级知识图谱: RAKG(95.91%) VS GraphRAG(89.71%)
文章分享RAKG框架，解决传统知识图谱构建在文档级构建中的局限。对比GraphRAG的不足，阐述RAKG创新点、框架结构，用MINE数据集实验，显示RAKG准确性等指标优于GraphRAG和KGGen。
Anthropic 提出透明度框架以保障前沿 AI 发展
Anthropic提出新透明度框架，针对大型AI公司，实施安全开发框架评估并减轻潜在风险，要求公开披露SDFs和系统卡片，小型公司豁免，还设执行合规条款，旨在平衡安全与创新。
Google | 溯源分析RAG系统错误，提出选择性生成框架，让RAG问答准确率提升10%
Google对RAG系统错误深入分析，引入‘充分上下文’概念，指出幻觉或因上下文不足。构建评估器，提出选择性生成框架，结合多信号决策，实验显示可让RAG问答准确率最高提升10%。
华为，在黎明之前
2019年华为因‘实体清单’业务面临停摆，AI战略也被打乱。此后华为成立‘作战部队’攻克AI算力难题，2022年启动超节点研发，2025年发布CloudMatrix 384超节点，在多项指标上超越英伟达。
「AI 100」榜单启动招募，AI产品“年会”不能停丨量子位智库
2025年国内AI产品关键词频现，各有代表性产品。量子位智库2025年度「AI 100」榜单开启招募，分三大板块，用定量与定性结合评估体系，还公开AI产品知识库。
中国科学SCPMA | 南科大王建春团队：基于改进隐式轴向分解Transformer的三维槽道湍流快速预测
南科大王建春团队改进IFactFormer模型，采用“并行”轴向分解注意力机制，提升在复杂流动问题中的表征能力和稳定性。实验显示，改进模型拟合与长期预测能力强，多数指标精度优于传统方法。
80%代码由Claude合并，Anthropic内部人员点破Agent真相：「Close the Loop」
Anthropic团队研究产品经理Theo演讲指出，Claude已深入其工程流程，超80%代码由它合并。模型角色转变，能力提升，失败率下降。开发者应升级研发战术，如刷新评估基准、精简“脚手架”、闭环设计。
别指望你的组织能变得 AI Native
一家公司买企业级 AI 授权全员铺开，虽 88% 员工采用，但交付速度未变，仅 10% 的人烧掉 90% 的 Token。文章指出企业 AI 采用率指标荒诞，分析企业 AI 应用现状，还给出落地推进建议。
Shopify 经验贴：如何搞出一个生产级别可用的 AI Agent 系统？
Shopify 以 AI 助手 Sidekick 为例，分享从简单工具调用系统演变为复杂 AI Agent 平台的经验，包括架构设计、评估方法和训练技术等方面，还给出构建生产级别可用的 AI Agent 系统的四条核心建议。