搜索：代码测试基准

「代码测试基准」共找到 3587 篇相关文章

AutoDev 预上下文引擎：预生成代码语义化信息，构建 AI 编程的知识基座

文章介绍 AutoDev 预上下文引擎，指出向量化代码检索性价比低，提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码，支持多语言，使用简单，还可结合 MCP 服务获取上下文知识。

人大高瓴与快手联合发布全新评测基准GISA，用于评估智能体搜索能力。它解决了现有基准反向构造、评估维度单一、答案易被记忆等问题，含373个高质量查询，实验显示当前搜索智能体距人类水平差距大。

ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。

谷歌预览Code Wiki，为代码库生成并更新文档，预览版含数百开源项目文档，Gemini CLI扩展将支持内部代码库。它有聊天界面，但AI生成文档缺乏权威性，开发人员看法不一，且非真正维基。

社区消息显示DeepSeek正测试新模型DeepSeek - V4 - Lite - 285B，用OpenAI MRCR 8 - pin标准考察超长上下文信息检索能力。测试结果优异，但‘大海捞针’法或被DSA作弊，实际效果存疑，社区高度关注其进展。

OpenAI新模型在2025年IMO达金牌水平，GPT - 5也将发布。但陶哲轩指出缺乏统一测试标准，影响公平比较。MathArena测试中，Gemini 2.5 Pro仅13分，远低于铜牌线。

作者在有了 OpenAI 赞助的 Codex Pro 后，让多个 Agent 同时在一个代码库工作。他开发的 Harness Monitor 从 Git 视角出发，解决多 Agent 写代码时的质量问题，涉及观察、治理等多方面能力。

新的开源AI代码编辑器Void IDE发布测试版，定位为Cursor等闭源编辑器的免费隐私替代方案。它是VS Code分支，能利用多种大模型，提供AI功能，开发者对其开源和隐私立场感兴趣。

北京时间8月8日凌晨，OpenAI推出GPT - 5，宣称其更智能、准确，幻觉率低。还推两款新模型，介绍了不同用户套餐。它在编程基准测试表现佳，健康领域能力突出，引发各界热议。

OpenAI研究员Roon称Codex已接管其100%代码编写工作，内部爆料还显示Codex助力三天搭服务器、三周推APP。Codex CLI更新至0.9+，但AI代码审查成难题，开发者和非开发者面临不同挑战。