搜索：编程基准测试

「编程基准测试」共找到 2946 篇相关文章

2025科技圈最新职位：“Vibe Coding擦屁股工程师”，专治老板们的决策性Bug

生成式AI兴起后，科技公司CEO用其取代员工致大量裁员。但“氛围编程”效果不佳，AI生成代码常需修复，“氛围编程清理专家”应运而生，市场需求或不断增长，不过网友对此看法不一。

长期以来主流代码修复评测基准SWE - bench问题多，制约AI模型能力展现。微软发布SWE - bench - Live，引入新Issue，实现环境自动化构建与更新，打破传统局限，还揭示传统基准过拟合问题。

阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。

LLM智能体进化为“行动派”，但自主权带来安全问题。现有评估基准缺乏有效精准评估器，研究者推出AgentAuditor框架及ASSEBench基准，让LLM评估器精确度达人类水平，为构建可靠智能体提供工具。

CodeGraph是开源本地代码知识图谱工具，提前为项目建索引，组织代码信息，让Agent直接查询。能减少token消耗与工具调用、提高响应速度，数据本地保存，还具备多语言支持等特点。

2025年Cloudflare、AWS等轮番宕机，“连坐”半个互联网。AI编程全面普及，虽提高效率，但可能让宕机更易发生、难提前发现。宕机最爱发生在变更后，AI编程使改动频繁，还让人类理解系统比例下降。

多智能体系统中，常有agent出错带偏整体。哈工大联合阿里提出AgentDropoutV2，测试时介入，设‘质检员’审核输出，结合失败案例构建‘避坑指南’，在多测试中显著提效，泛化性强。

Qwen团队与复旦等联合发表论文《The Verification Horizon: No Silver Bullet for Coding Agent Rewards》，指出编码智能体奖励设计存在结构性困境，任何奖励信号只是人类意图的‘替身’，验证需成系统与智能体协同演化，并研究多种验证者。

Anthropic发布全球最强编程模型Claude 4，含Opus 4和Sonnet 4。Opus 4是顶尖编码模型，Sonnet 4是Sonnet 3.7的重大升级。还发布系列产品，Claude 4定价与此前一致，部分用户可体验。

文章指出2025年AI编程领域爆发式增长，一年营收从几亿到百亿美金。因其适合编程场景，能帮助各用户群体，未来渗透率有望大幅提升。还分析了发展猛的原因，且认为其潜力大，赛道仍在加速。