搜索：代码测试基准

「代码测试基准」共找到 3587 篇相关文章

Coding agent写测试集体失败！AI代码合格率被高估一倍

南京大学团队发布代码测试评测基准 TestPrism。评测发现，面对同一需求的多样代码实现时，最强 Coding Agent 的联合测试成功率仅 28%。

为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。

Ruby 代码提交者远藤裕介评估 Claude Code 用 13 种编程语言生成代码的效率。经 600 多次测试，动态语言更快、更省成本且更稳定，静态类型语言慢且成本高。实验有局限，也引发质疑与回应。

随着AI智能体走向实际应用，其基准测试变得至关重要。但现有基准测试问题多，如WebArena判错答案、τ - bench给无操作智能体高正确率。文章提出有效性判据和ABC清单，还揭示主流基准测试诸多问题。

蚂蚁研究人员提出代码检索与重排评测基准CoREB，解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB，收录19个模型×6个任务评测结果，为代码检索模型评估提供新基线。

浙大校友打造的智能测试平台TestSprite 2.0，零代码零bug，30分钟创建网站，能让AI写代码准确率从42%跃升至93%，还可自动生成测试报告、调试修复错误，全程无需人工干预。

南洋理工大学、新加坡国立大学与华为开源首个针对数据智能体异构混合数据分析的基准测试FDABench。它有2007个任务，覆盖多领域多数据源，独创协作框架，能测多种工作流模式的数据智能体。

中科院与美团团队推出 VinciCoder，打破多模态代码生成中 SFT 范式瓶颈。它将奖励机制转向视觉域，通过两阶段策略统一多样化代码生成任务，在多基准测试中表现卓越，为领域研究提供新范式。

近日，RoboChallenge推出全球首个大规模、多任务真机基准测试。它构建开放、公正、可复现的‘真实考场’，为视觉 - 语言 - 动作模型提供评估标准，推动具身智能发展，还提供远程测试服务等。

Meta 用即时（JiT）测试方法提升软件质量，该方法在代码评审期间动态生成测试，在 AI 辅助开发环境中将缺陷检测能力提升约 4 倍，源于代理式工作流兴起及传统测试套件的局限。