搜索：Coding 基准测试

「Coding 基准测试」共找到 2858 篇相关文章

AI集体“听不懂”！MMAR基准测试揭示音频大模型巨大短板

MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。

Anthropic的Claude Code创建者Boris Cherny在访谈分享智能体编程未来看法，介绍用Claude Code开发它自身的方法，还谈及Claude Code发展、使用技巧及对编程工作未来变化的预测。

9月1日，MLPerf Storage 3.0基准测试结果发布，XSKY星辰天合旗下MeshFS首次参赛，在并行文件存储赛道获九项第一。该测试覆盖多类负载，可多维度衡量存储系统性能，MeshFS兼顾性能与成本效率。

API开发者曝光Grok - 4和Grok - 4 Code测试成绩，HLE达35%，推理后飙升到45%，远超o3和Gemini的20%。其他测试也表现优异，但成绩引发争议，有人质疑数据污染，也有人支持，目前数据未官方证实。

Anthropic一度将Claude Code从Pro套餐移除，引发开发者不满，数小时后官网回滚，负责人称是小范围测试。Claude Code因高消耗或调整收费，Anthropic正修正订阅模型，这或改变开发者工具格局。

本周五起，Claude Code在新会话默认让AI替用户点「同意」。其开发者底气源于720次攻击0成功测试。不过业内人士对此不乐观，且测试有局限性，审批权移交AI有风险。

MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。

在美国新基准测试FAI - C中，中国开源模型Qwen3夺冠，DeepSeek的R1跻身前六，力压美国明星实验室顶级模型。该测试由前英特尔CEO帕特·基辛格所在公司Gloo推出，旨在让AI直面深层问题。

作者分享用AI Coding和Claude Code提升开发效率的经验。先谈AI Coding，如Prompt工程心得、划分任务边界等；后讲Claude Code使用，包括安装、指令、构建项目规则等，还提及它在多场景的应用。

来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。