搜索：代码能力评测

「代码能力评测」共找到 4792 篇相关文章

刚刚，Anthropic 又出新货：Claude Opus 4.1 发布，代码、推理能力再升级

Anthropic发布Claude Opus 4.1，是对Opus 4的小升级，提升智能体任务、代码处理和推理能力。付费Claude用户等已可用，价格不变。在编程评测表现佳，获多方好评，官方建议升级。

在大模型应用开发中，科学、自动化评测 LLM 输出质量是难题，人工评测效率低。DeepEval 是 Confident AI 团队开源的 LLM 评测框架，能用极简代码让评测像写 pytest 一样自然，内置多种评测指标，支持批量评测等。

大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE，耦合两层专家选择机制优化，实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。

过去一年大模型写代码能力提升，人们思考其能否参与软件工程核心流程。现有评测基准有缺失，SwingArena填补空白，将博弈引入评测，设计检索增强流水线，其开源后或成评估AI编程能力新工具。

长期以来主流代码修复评测基准SWE - bench问题多，制约AI模型能力展现。微软发布SWE - bench - Live，引入新Issue，实现环境自动化构建与更新，打破传统局限，还揭示传统基准过拟合问题。

当前基于大模型的Coding Agent是热门研究方向，现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架，对9个前沿模型测试，发现用户干预下模型性能下降、排名洗牌。

东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。

作者体验DeepSeek R1超8小时，发现其文本写作问题大幅修复，思维链推理改进，代码能力提升，前端审美直逼Claude 4。文章展示其前端能力，给出写前端网页提示词及设计逻辑，还探讨了其在复杂任务中的表现。

作者测试了 GPT-5 的代码能力，并与 Gemini 和 Claude 对比。在不同代码任务中，各模型表现不同。如在生成网页任务里，GPT-5 部分结果不错，但受 32K 上下文限制，长文本处理不如 Gemini，硬实力也不如 Claude。

ContextBench首次从「过程」评测代码智能体，揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务，由专家标注「黄金上下文」，用多指标评估。研究显示，复杂架构未必效果好，模型重召回轻精确等。