搜索：代码生成基准

「代码生成基准」共找到 4165 篇相关文章

北航LiveRepoReflection: 扭转乾坤-仓库级代码反射

本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。

谷歌预览Code Wiki，为代码库生成并更新文档，预览版含数百开源项目文档，Gemini CLI扩展将支持内部代码库。它有聊天界面，但AI生成文档缺乏权威性，开发人员看法不一，且非真正维基。

中国电信人工智能研究院推出业内首个面向真实工业场景的“表格到报告”基准T2R-bench，涵盖多领域真实表格、问题与人工标注关键点，配套创新性三维度评测体系。实验显示主流大模型在该任务上表现欠佳，提升空间大。

传统手工编程时代，先设计再写代码和先实现再重构存在争论。AI编程让选择变简单，可先设计生成代码，再改进设计生成。还需在开发工具和流程上配合，新人更易适应。

为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。

生成式AI在三维空间面临挑战，传统3D生成成果粗糙难编辑。团队推出MeshCoder，将三维输入翻译成结构化代码，有分部件生成等优势。介绍其实现路径、实验性能，也指出局限并展望未来。

在AICon2025上海站，妙多副总裁张昊然分享生成式AI在UI设计领域的影响。他回顾初代生成式UI的‘套模板’技术，讲述技术革新后回归代码生成界面，还探讨让AI理解设计系统、妙多AI 2.0理念及未来UI工具假设。

作者用 Codex Security 分析项目，发现它不仅列漏洞，还提供攻击路径等。AI 没创造新漏洞，却放大缺陷，需新方式治理大规模自动生成代码，Harness Engineering 有防御价值。

来自多机构的研究团队提出GenEvolve，将开放图像生成建模为「工具编排轨迹」。它配置三类工具，经多轮决策完成生成。通过构建数据集训练，实验显示在多基准上表现出色，已开源模型、代码等。

蛋白质折叠是计算生物学核心难题，SimpleFold作为首个仅基于通用Transformer模块的蛋白折叠模型，摒弃AlphaFold2系列传统架构，能将蛋白序列生成三维原子结构，在多基准测试表现强劲，还可生成结构集合。