开源动态7
上交大开源AI诊断测评集
量子位
AI 摘要
上交大与SII:开源DiagnosisArena测评集评估AI诊断能力。结果显示,当前模型在复杂诊断任务中表现差,o3准确率仅51.12%,选择题不能反映真实水平,AI离像医生一样诊断还很远。
阅读原文 · 量子位
AI还不会独自问诊,o3准确率仅为51.12%,上交大×SII开源高难度复杂疾病诊断测评集
上海交大与SII团队开源高难度复杂疾病诊断测评集DiagnosisArena。测试显示,现有大模型在复杂临床诊断任务中表现不佳,o3准确率仅51.12%,且选择题设置无法反映其真实能力。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
AI进入第二序章,远未到下半场
本文是甲子光年九周年纪念文章,作者甲小姐通过两个核心行业数据,提出AI刚进入“第二序章”远未到下半场,拆解八大核心问题,纠正当前市场的两种极端判断。
甲子光年
推荐文章8
AI冲击下,大学该何去何从?
本文围绕AI普及后知识成本下降、学历信号弱化的现状,引用经济学教授杰森的最新论文,分析大学核心价值与AI冲击逻辑,给出转型方向,并探讨中国高校的应对思路。
DeepTech深科技
新闻资讯9
AI破解数学难题 引发学界震荡
本文报道OpenAI一次性放出722篇AI生成的重大数学难题证明,引发全球数学界震动,美国CS教授称其为数学末日,数学家联合抵制OpenAI,学界观点撕裂,揭露了AI给数学界带来的巨大冲击和争议。
新智元
算法论文8
人脑信号可引导大语言模型鲁棒推理
本文介绍发表于Nature Machine Intelligence的最新研究,系统探究语言模型与人脑推理表征的对应关系,验证人脑信号可引导提升语言模型推理鲁棒性,为脑启发AI提供了新研究路径。
机器之心