算法论文8

DrafterBench评测：大模型下工地能力待提升

新智元2025-07-17

AI 摘要

加拿大麦吉尔大学等团队推出DrafterBench评估基准，评测主流大模型在土木工程图纸修改任务的表现。结果显示模型有一定能力，但整体水平未达工程一线要求，后续将拓展更多工程场景。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

SWE - Touch揭示Coding Agent共享协作能力缺口

当前基于大模型的Coding Agent是热门研究方向，现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架，对9个前沿模型测试，发现用户干预下模型性能下降、排名洗牌。

牛津大学和新加坡国立大学研究团队提出心智世界建模（MWM）通用框架，将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性，实验表明 MWM 对预测人类决策必要，瓶颈是状态转移模拟能力不足。

周三晚间，DeepSeek 突然发布 V4 Pro 大语言模型正式版，命名为 DeepSeek - V4 - Pro - 0813，官方未调升 API 使用价格。有用户称调用的 V4 Pro 思维链风格有变，跑分显示其 Agent 评测表现可媲美顶级模型，还撞车了马斯克的 Grok 4.6。

新工作MLS - Bench覆盖12领域、140个研究任务，评测前沿模型科研能力。虽模型工程执行强，但科学发现能力弱，当前仍难提出有效算法创新。其评测已纳入Kimi K3和Qwen3.8 - Max官方发版表。