「编程基准测试」共找到 2942 篇相关文章
我是微软工程师，编程了30多年，如今我几乎不再编程了
微软资深工程师 Paul Payne 分享编程 30 多年感受，认为 AI 正颠覆软件工程领域。他所在团队研究 LLM 驱动系统，系统从程序员手中接走大量工作，Amplifier 等工具让编程变得更简单，人类程序员价值将升华。
刚刚，豆包编程模型来了，我们用四个关卡考了考它！
2025年AI编程助手分化为IDE增强和Agentic两条路线。当前Claude Pro有使用限制，火山引擎推出豆包编程模型Doubao-Seed-Code。它在多项评测表现优异，具备长上下文等能力，经四关测试实力强，价格也实惠，或成完美平替。
谷歌放大招了，开源命令行AI编程Agent，每天1000次免费调用，编程只是基础功能。
Google推出开源命令行AI编程Agent——Gemini CLI，基于Gemini 2.5 Pro模型，免费提供每日1000次调用额度。它不仅能编程，还具备多模态能力、实时信息整合等功能，支持定制与自动化。
打破大模型编程「数据污染」与「能力虚胖」困境，Meituan-M17团队构建新一代AI编程评测新标准——OIBench
当前大语言模型编程能力评估体系问题多，如评测集饱和、数据泄漏等。Meituan - M17团队推出OIBench数据集，对18个主流大模型评测，揭示模型真实水平，还将举办人机协作编程竞赛。
一种可以减少 CI 回归测试套件规模的更佳方案
作者作为测试架构师，认为减少CI回归测试套件规模理论诱人但实践常失望。介绍有效处理大型测试套件的方案，如随机趋势分析、多上下文模式匹配等，还谈及无门控测试等优势，能助力管理测试集。
AI编程真面目：完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench，评估AI编程智能体端到端项目开发能力。结果显示，六种主流智能体总体提交AC率仅27.38%，从零构建任务中性能大幅下滑，还揭示了智能体多方面短板。
为什么我不“凭感觉编程”
作者 Jacob Harris 分享不“凭感觉编程”的原因。他认为使用 LLM 要付费，且无法应对编程本质复杂性，还缺乏元认知。同时，他强调编程中摩擦的重要性，在乎编程的创造性与责任感，也反感 LLM 语气等。
苹果与Anthropic合作，开发AI编程助手
彭博消息，苹果与Anthropic合作，为Xcode打造AI编程助手，集成ClaudeSonnet大模型，可自动完成代码编写等工作。现处内部测试，若顺利将向第三方开发者发布，有望改变苹果平台应用开发方式。
JinaVDR: 一个图文混排文档搜索任务的基准集
现有文档检索基准大多只考虑纯文本，难以处理含图表等视觉信息的文档。JinaVDR 应运而生，它是图文混排文档搜索基准集，含多语言、多领域数据，可评估模型在复杂视觉文档的检索性能。
谷歌Gemini 3杀疯了！陶哲轩亲测：10分钟干翻百年数学难题
Gemini 3本周一发布后开启横扫基准测试之旅。在FrontierMath基准测试创纪录，Epoch能力指数超GPT - 5.1。陶哲轩用Gemini Deepthink十分钟解决埃尔德什问题关键证明，同时它还霸榜物理基准测试CritPt。