「评估框架」共找到 2216 篇相关文章
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
Anthropic的多智能体，真的有必要吗？
作者曾质疑多智能体系统，看了Anthropic对「Claude Research」的说明后有了改观。介绍了多智能体系统定义、性能提升、代价，还阐述构建方法、评估方式，公开三个核心提示词及协作模式。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
统一20+多智能体方法，MASLab震撼发布
由十机构联合推出的 MASLab，带来大模型多智能体系统代码库，统一 20+主流 MAS 方法。有方法全、评估准、结构清晰特性，经大量实验刻画性能图谱，还提出新方法，且发起开源社区。
“AI原生”觉醒：企业数智化的弯道超车时刻｜甲子光年
当下‘AI原生’成共识，但不少企业有数据难转化、有工具难成闭环。文章提出‘数据×工具×组织’三重进化框架，介绍数据智能化趋势、火山引擎Data Agent等，还为企业拥抱Data+AI给出建议。
AI还不会独自问诊，o3准确率仅为51.12%，上交大×SII开源高难度复杂疾病诊断测评集
上海交大与SII团队开源高难度复杂疾病诊断测评集DiagnosisArena。测试显示，现有大模型在复杂临床诊断任务中表现不佳，o3准确率仅51.12%，且选择题设置无法反映其真实能力。
彻底说清 Human-in-the-Loop：企业级 Agent 系统的关键挑战与LangGraph解法【上】
文章围绕企业级Agent系统中Human-in-the-Loop（HITL）展开，介绍其必要性、常见模式，以LangGraph为框架解读关键挑战与实践，涵盖核心机制、原理解析，还阐述HITL下工具调用的两种管控模式。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
AI 不会杀死初级开发者——但你的招聘策略可能会
文章指出在 AI 编码普及的行业，初级开发者角色转变但不可或缺。AI 虽自动化部分任务，却带来新挑战与期望。初级需培养新技能，避免过度依赖，公司也应调整招聘、培养和评估方式。
SMO | 西工大宁晨伽、张伟伟等：基于共享并行神经网络架构的多精度气动融合方法
高可靠性气动数据降本增效是关键命题。本研究总结主流多精度建模方法，提出基于共享并行架构的融合策略，区分公共与私有特征，提升融合框架表征能力，还通过算例验证方法有效性。