搜索：编程基准测试

「编程基准测试」共找到 2946 篇相关文章

大模型转行土木工程！首个「打灰人」评估基准：检验读、改工程图纸能力

首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。

北京航空航天大学团队发布面向通用遥感目标检测的大规模数据集与基础模型框架 LEVIRDet，构建了 LEVIRDet - 159 数据集，提出 LEVIRDetNet 模型。前者为训练泛化能力强的模型提供新数据基础，后者在多基准测试中表现出色。

全球首个动态实时LLM智能体未来预测基准FutureX推出，陈天桥旗下MiroMind团队连续两周蝉联冠军。其模型采用记忆驱动机制，为预测与决策设计，还展现了在多领域的预测能力，且将开放相关框架和模型。

港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。

代号「龙虾」的神秘模型在WebDev Arena现身，网友猜测是GPT - 5，提前试用者称其编程能力惊人，能改屎山代码。多位用户表示其在代码生成等方面超越Claude，OpenAI或已秘密测试。

AI加速代码编写，但也留下更多安全坑，传统扫描工具和人工渗透测试难以应对。新晋GitHub Trending榜首工具Shannon是全球首个开源全自动AI渗透测试员，多智能体架构，功能强大，适合AI编程团队。

上海交通大学 IPADS 研究团队打造 FM - Agent，实现大规模系统全自动正确性推理。它能从顶尖编程智能体生成的大规模系统中找出隐藏 bug，还提出新规约生成方法，在绝对严谨与工程可用间找到平衡。

谷歌更新旗舰 Gemini 模型，推出 Gemini 3.1 Pro Preview，以相同价格实现性能跃升。它在多项基准测试中领先，性价比超对手，虽部分测试落后竞品，但提升或源于模型质量改进，成本效益策略值得关注。

面对Claude Opus 4.6和GPT Codex 5.3的攻势，谷歌升级Gemini 3 Deep Think，在多项基准测试刷爆SOTA，推理成本降低82%。它还走进科研工程领域，其研发团队有不少华人，如姚顺宇、Yi Tay。

谷歌发布Gemini 3 Deep Think重大更新，剑指科研和工程。它在编程算法竞赛等多项测试中成绩亮眼，能模拟人类科学家深度思考，处理复杂问题，还可重塑工程设计流程，已向部分用户和企业开放。