「逻辑评估」共找到 1081 篇相关文章
解道奥赛题成本5000美元？陶哲轩警告，AI下一步要规模化的「更便宜」
谷歌新一代 Gemini 进阶版在 IMO 竞赛达金牌水平，华人数学家陶哲轩对此关注且担忧。他认为评估 AI 表现应谨慎，AI 发展需从定性转向定量，要‘降本增效’，未来标准化评测很重要。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
Anthropic的多智能体，真的有必要吗？
作者曾质疑多智能体系统，看了Anthropic对「Claude Research」的说明后有了改观。介绍了多智能体系统定义、性能提升、代价，还阐述构建方法、评估方式，公开三个核心提示词及协作模式。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
统一20+多智能体方法，MASLab震撼发布
由十机构联合推出的 MASLab，带来大模型多智能体系统代码库，统一 20+主流 MAS 方法。有方法全、评估准、结构清晰特性，经大量实验刻画性能图谱，还提出新方法，且发起开源社区。
当 AI 能写代码修 bug，高考报计算机专业是“火坑”还是“新机遇” ｜深度对话 6 位专家
在 AI 浪潮下，编程范式变革，开发岗位结构改变。本文采访 6 位专家探讨高考生报计算机专业是否值得，还分析适合人群、专业核心技能重要性变化等，为考生提供多维度参考。
AI还不会独自问诊，o3准确率仅为51.12%，上交大×SII开源高难度复杂疾病诊断测评集
上海交大与SII团队开源高难度复杂疾病诊断测评集DiagnosisArena。测试显示，现有大模型在复杂临床诊断任务中表现不佳，o3准确率仅51.12%，且选择题设置无法反映其真实能力。
PDF/DOCX/HTML/扫描文档接卸不再愁！D自动解析文档并统一格式的开源库edoc
Dedoc是开放通用系统，能将文档转换为统一格式，提取逻辑结构和内容。用Python实现，支持多种格式，有可扩展性等优势，还能处理扫描文档，可用于多个系统，介绍了安装方法。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
AI 不会杀死初级开发者——但你的招聘策略可能会
文章指出在 AI 编码普及的行业，初级开发者角色转变但不可或缺。AI 虽自动化部分任务，却带来新挑战与期望。初级需培养新技能，避免过度依赖，公司也应调整招聘、培养和评估方式。