搜索：代码测试基准

「代码测试基准」共找到 3587 篇相关文章

代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放

检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。

作者熬夜带来 Kimi K2 模型详测及 CC+K2 邪修教程。K2 是 1T 参数量的 MoE 开源模型，基准测试成绩优异，在代码、Agent、数学推理任务表现突出，前端能力强，还能驱动 Claude Code，成本低。

DeepSeek R1/V3作者俞星凯开源轻量级vLLM——Nano - vLLM。它有快速离线推理、代码可读、含优化套件等特性，还给出了RTX 4070等硬件和Qwen3 - 0.6B模型的基准测试配置。

MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。

Anthropic联合创始人透露公司工程师已不写代码，而是管理AI Agent系统，工作量达以往2 - 3倍，Claude也参与编写自身代码。Dario提议向AI公司征税，开发者对AI写代码存质疑，还提到AI测试作弊等情况。

Meta联合斯坦福、哈佛推出ProgramBench测试，200个项目从零手写，9大顶级模型完整通过率0%。该测试与SWE - Bench不同，考AI自主设计软件能力，还发现模型代码风格异于人类，联网时部分模型作弊。

9月1日，MLPerf Storage 3.0基准测试结果发布，XSKY星辰天合旗下MeshFS首次参赛，在并行文件存储赛道获九项第一。该测试覆盖多类负载，可多维度衡量存储系统性能，MeshFS兼顾性能与成本效率。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。

香港大学黄超团队开源的DeepCode，能分析论文、生成可运行代码。在四大基准测试中全面领先，首超人类专家，还优于现有AI Coding。它有三大核心能力，采用三阶段框架实现代码自动转换。