「学科考试基准」共找到 952 篇相关文章
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
OpenAI新幻觉论文惹争议！GPT-5拉胯是测试基准有问题？？
OpenAI新论文《语言模型为何会产生幻觉？》提出，模型有幻觉是因标准训练和评估流程倾向奖励“猜对”。GPT - 5不爱猜测，在榜单表现不佳，网友质疑论文是为GPT - 5挽尊，论文引发网友多方向讨论。
你的 Harness 工作流真的在进步吗？我们用一场考试撕掉了遮羞布
文章指出Harness工作流常靠‘主观vibes’驱动，缺乏有效评价体系。为此推出Harness Eval评测系统，包含出题、答题、改卷等环节，形成闭环，帮助工作流持续改进，还能提升整体通过率。
Claude Code 生成 13 种编程语言代码基准测试：动态语言更快更省成本
Ruby 代码提交者远藤裕介评估 Claude Code 用 13 种编程语言生成代码的效率。经 600 多次测试，动态语言更快、更省成本且更稳定，静态类型语言慢且成本高。实验有局限，也引发质疑与回应。
从第一性原理出发的RAG推理新范式来了，蚂蚁DIVER登顶权威基准
当前RAG系统处理多步逻辑推理任务有局限，蚂蚁集团团队提出DIVER框架解决推理密集型检索难题。它将检索任务分四阶段，在BRIGHT榜单领先，行业对比优势明显，医疗应用效果好。
OpenAI深夜放出GPT-5狙击谷歌！基准测试碾压前代模型，价格比Claude更便宜
北京时间8月8日凌晨，OpenAI推出GPT - 5，宣称其更智能、准确，幻觉率低。还推两款新模型，介绍了不同用户套餐。它在编程基准测试表现佳，健康领域能力突出，引发各界热议。
MLLM集体翻车，缺乏婴儿级常识！业界首个核心认知基准发布，LeCun转赞
当前大模型在12项核心认知上普遍落后人类10 - 30%，越大的模型越易靠「背答案」糊弄。团队公开首个系统评测框架和题库，用Concept Hacking方法识破模型真假理解，指出模型存在核心知识缺失等问题。
刚刚，全球最难考试惊天大反转！黑马AI冲破36%，顶流模型集体翻车
ARC-AGI-3测试中，顶级大模型Opus 4.6仅得0.2%，人类获满分。而Symbolica公司用Agentica框架首日就取得36.08%的成绩。该框架有独特技术路径和策略，但成绩未经验证，ARC-AGI-3被视为通向AGI的‘北极星’。
医疗幻觉率比DeepSeek低3倍，百川循证增强大模型横扫全球医学考试！
百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus，将循证医学理念融入训练和推理，首创六源循证范式。其在多场景评测中幻觉率低，多国医考成绩优异，已上线百小应APP并开放API。
性能逼近闭源最强，通义实验室开源Mobile-Agent-v3刷新10项GUI基准SOTA
通义实验室开源 Mobile-Agent-v3，覆盖多平台，7B 超同类开源，32B 挑战闭源强手。它有基于云环境的全链路开源方案、全栈 GUI 能力构建和可扩展环境强化学习体系，降低部署开销。