搜索：Coding 基准测试

「Coding 基准测试」共找到 2875 篇相关文章

AI Coding 产品的陷阱：有 PMF 但还没有做到 BMPF

AI Coding 产品增长迅速，如 Lovable 预计年底 ARR 达 2.5 亿美金。但也暴露出盈利难题，多数产品利润为负。解决办法要么自建模型，但成本高；要么等大模型成本下降，却不太可行。AI Coding 产品或未实现 BMPF。

HexStrike是开源渗透测试工具，以MCP为底座。其核心智能组件IntelligentDecisionEngine是专家系统，将安全专家经验规则化，通过知识库和算法提供工具选择和参数优化，提升渗透测试效率。

近日，斯坦福、英伟达、Together AI 等联合开源全新测试时新范式 TTT - Discover，在测试阶段用强化学习微调模型，以刷出 single best 结果，用几百美元就刷新诸多领域 SOTA。

Claude Code 发布 `/schedule` 命令，可在云端创建定时任务，让 Claude 自动干活，即便关电脑任务也照跑。该功能用法简单，还支持多种创建方式和执行频率。此外，Claude Code 三月更新频繁，正从编程助手转向自动化成员。

本文深度解析Claude Code在Prompt、Context、Harness三方面的设计与实践。介绍了Prompt动态组装过程，探讨CLAUDE.md项目说明、上下文压缩体系和记忆系统，还阐述了系统级提醒、多Agent及安全体系等内容，文末分享了项目有趣彩蛋。

xAI的Grok 4在ARC-AGI-2测试中获15.9%，成全球最强公开AI模型。ARC Prize主席还原测试过程，虽成绩亮眼，但网友有质疑，且离人类表现差距大。Grok 4在多基准测试领先，定价便宜。

Claude Code发布v2.1.71，推出`/loop`功能，可让Claude在后台循环执行任务。它能将Claude Code从问答工具变为自主运转的Agent，配合CLAUDE.md和Git hook可构建自主Agent系统，还能同时跑多个实例。

Google悄悄发布开源免费的命令行AI开发工具Gemini CLI，免费用户每天1000次请求、每分钟60次。它功能强大，是完整AI代理，还与Gemini Code Assist配合，或改变coding游戏规则。

当前AI软件领域代码生成智能化发展快，但测试验收仍靠手动，效率低。MetaGPT推出用户智能体，研究团队发布RealDevWorld框架和AppEvalPilot实现端到端自动化评测，解决复杂软件质量评估难题。

GPT - 5首次通过「哥德尔测试」，破解三大组合优化猜想。研究由海法大学和思科主导，团队设计五项测试任务，GPT - 5在三个简单问题上近乎完美，还推导出不同解法，标志AI从「学习数学」迈向「做数学」。