搜索：编程基准测试

「编程基准测试」共找到 2944 篇相关文章

12个Ai编程Agent同台PK，最贵的不一定是最强的

上海交大和美团联合发布PRDBench论文，将12个主流AI编程Agent放入50个真实Python项目测试。结果显示，基础模型写代码强，商业版调试优势明显；专门训练的裁判模型比通用大模型靠谱。

红杉中国推出全新AI基准测试工具xbench，采用双轨评估体系，构建多维度测评数据集，追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制，首期发布两个核心评估集并给出综合排名，公开后邀各界完善。

过去一年，‘世界模型’成视频生成领域热词，厂商强调产品要模拟真实世界运行规律，但业界评测一直未能精准检验其‘物体恒存’的认知能力。为此，研究者提出新基准MemoBench，测试了主流模型，揭示其短板。

字节跳动发布全球首个实时未来预测基准测试FutureX，杜绝模型作弊。在25个模型评测中，Grok - 4夺冠。它从多网站构建问题，分四级难度。人类专家在部分等级仍领先AI 。

智谱发布GLM-5.3，743B参数模型，编程能力达开源SOTA。网络安全能力涌现，基准得分是GLM-5.2两倍多。全部提升来自后训练缩放，还自研Z.ai Code Bench评估，安全评估加固后权重将开源。

阿里云峰会发布的Qwen 3.7 Max，在优化平头哥芯片推理内核任务中，35小时让推理速度快10倍。它在多基准表现出色，编程、推理、办公自动化全面开花，但闭源且实验室场景与现实有差距。

OpenAI发布GPT-5，登顶大模型测评榜单。它有统一智能架构，在多测试取得突破，编程能力强击败对手。还改进意图，减少幻觉、增加情感、在健康领域更实用，价格便宜。作者预测其将带来用户翻倍等影响。

高人气开源智能体记忆项目 Mem0 发布论文，称在 LOCOMO 测试打败对手。MemGPT 创始团队 Letta AI 联合创始人公开指控其造假，称测试无意义，自己轻松超其基准数据。二者都为解决大模型长期记忆问题而诞生。

文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。

Codebuff是开源AI编程助手，获超5.1k stars。其多智能体架构让不同智能体分工协作，理解代码上下文更好、编辑更准。官方测试中完成率61%，超Claude Code。它免费且上手简单，还能创建自定义智能体。