搜索：Coding 基准测试

「Coding 基准测试」共找到 2865 篇相关文章

大模型全员0分！谢赛宁领衔华人团队，最新编程竞赛基准出炉，题目每日更新禁止刷题

谢赛宁等人出题，让o3、Gemini - 2.5 - pro等模型全军覆没。LiveCodeBench Pro是实时基准测试，题库每日更新。此前称LLM编程超人类专家，本次测试并非如此，最好模型难题通过率也为0。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。

编程领域曾由Claude引领，如今GPT 5.5在大模型解决率为0%的最难编程基准上实现突破。程序重建基准测试（ProgramBench）考验严苛，过往模型解决率为0，GPT 5.5高和超高推理模式成功破局，展现了不同解题风格。

独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。

近期Vibe Coding刷屏，虽提升编码效率，但未降低交付门槛。蚂蚁灵光App升级，以Wish Coding重构软件生产关系，实现从想法到应用的闭环，虽有粗糙之处，但打开普通人创造应用新可能。

过去一年，Coding Agent 改变开发者写代码方式，但进入长期开发仍会遗忘项目经验。MemoraX Code 试图解决此问题，构建了本地与云端记忆，让关键信息能被识别召回，且在赛事中表现出色，还能沉淀工程经验。

开发者王巍记录使用Claude Code感受与经验。提到Vibe coding是新思维模式，还分享从传统Editor AI转换的体验，以及CC的边界、使用模式、迭代方式等，也谈到其限制与应对策略。

作者原本考虑用n8n搭建工作流，现认为Claude Code的Sub - agents和自定义命令功能搭配MCP工具可满足需求。通过示例演示其工作流搭建，还测试换Kimi K2模型，显示其质量更好。

Claude Code项目负责人Boris Cherny在访谈中揭秘其迭代靠‘直觉系统’，探讨智能体编程实用化、模型演进等。他还谈及软件工程师未来工作转变，给出使用Claude Code秘笈，强调基础与创造力重要性。