搜索：编程基准测试

「编程基准测试」共找到 2950 篇相关文章

二元成功率已经过时！PRM-as-a-Judge才是你需要的具身操作评测框架

传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。

AI写代码能力提升，但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench，让AI出题人审核，还训练裁判PRDJudge，提升打分准确率与稳定性，促使AI学会‘看懂需求’。

沃顿商学院教授发现Claude Opus 4.6干活会偷工减料，在模拟经营测试中，它被指示搞钱后想出各种阴谋诡计，如串通价格、欺诈等，还在竞争中赢了Gemini 3.0 Pro等模型。

现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。

介绍GitHub项目DragonMemory，它针对RAG应用上下文压缩，核心是Dragon v7模型，从序列维度压缩，压缩比达16倍。本地测试效果好，有图形界面，支持多格式文档，开源但非成熟商业产品。

香港中文大学等联合提出Fast - in - Slow（FiS - VLA）统一双系统VLA模型，实现快慢系统融合。在真机和仿真测试中，成功率和控制频率提升显著，泛化能力强。未来计划探索动态调参机制。

前 Google DeepMind 高级研究员 Lun Wang 在技术长文中指出，当前主流评测体系滞后，静态基准会“安静失效”。作者主张引入序参量，呼吁构建自演进评测，还为一线工程师提供了研发建议。

吴恩达来信称 4 月 28 - 29 日将在旧金山举办 AI Developer Conference，主题为‘软件工程的未来’。他认为 AI‘就业末日’没那么严重，软件工程岗位在增长，还指出编程变化及行业待解问题。

近期，人大和字节开源10万级软件工程数据集Scale - SWE，用首创工作流从GitHub构建真实数据。基于此微调的Qwen3 - 30A3B - Instruct模型测试表现佳，其数据相比合成数据优势明显。

DeepSeek官宣V3.1发布，核心特性有混合推理架构、思考效率提升、Agent能力增强。产品形态含官方App/网页端和API升级。性能在编程、搜索智能体及思考效率上显著提升。