搜索：代码能力评测

「代码能力评测」共找到 4795 篇相关文章

大模型转行土木工程！首个「打灰人」评估基准：检验读、改工程图纸能力

首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。

司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。

耶鲁、复旦等推出MMSciBench评测基准，揭示主流模型复杂科学推理短板。它有高质量数据、多模态多题型测试和精细知识分类体系。测试发现模型图文融合及推理能力弱，英文推理或效果更好。

王梦迪、丛乐团队在arXiv发布预印本论文，推出面向AI原生科学发现的行星级操作系统Science Earth，它能连接全球科学能力。文中通过两个案例展示其作用，并介绍协调内核EACN，还公开了论文、代码与网络。

文章介绍针对CFD领域的综合LLM评测基准CFDLLMBench，构建三层递进挑战体系。实验揭示主流LLM在‘知道’与‘做到’间有差距，多智能体框架可提升成功率，代码与数据集已开源。

美国东北大学等机构研究者提出OPeRA数据集，采集真实用户在线购物行为，支持系统评测LLM个体化行为预测能力。实验显示当前主流LLM在模拟人类行为上表现有限，揭示其能力边界。

具身智能产业发展迅速，但缺统一、高标准真机评测体系，成发展痛点。中山大学等机构推出 ManipArena 挑战赛，提供科学评测框架，已测部分模型，揭示不同技术路线能力边界，为产业发展提供基础。

工业代码大模型缺的往往是‘想’的能力。北航联合多家单位提出的InCoder - 32B Thinking，让模型结合工业环境思考，通过ECoT从错误中学习，用ICWM提前预判结果，还能自适应思考深度，且模型与代码已开源。

香港大学黄超团队开源的DeepCode，能分析论文、生成可运行代码。在四大基准测试中全面领先，首超人类专家，还优于现有AI Coding。它有三大核心能力，采用三阶段框架实现代码自动转换。

研究团队发布全球首个医疗代码生成大模型训练平台MedAgentGym，提供评估基准和训练生态，提升大模型医疗代码生成与推理能力。经其训练的Med - Copilot - 7B达GPT - 4o相当水平，解决医疗AI编程瓶颈。