搜索：编程基准测试

「编程基准测试」共找到 2946 篇相关文章

让模型“看视频写网页”，GPT-5仅得36.35分！上海AI Lab联合发布首个video2code基准

上海人工智能实验室等机构提出IWR - Bench评测基准，从“image - to - code”迈向“video - to - code”，对28个主流模型测试，最佳模型GPT - 5仅36.35分，指出当前模型短板，为研究指明方向。

AI 代理系统普及，工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法，采用 proxy - and - cassette 模型，虽处早期，但揭示了 AI 代理测试的不同方向。

本文是腾讯程序员近2个月AI编程经验总结。介绍了AI编程战略价值、研发范式转变，以CodeBuddy为核心的编程方法，AI×SDLC方法论，通过三大场景实践展示其应用，并分析边界局限，最后强调组织人才发展重要性。

作者熬夜带来 Kimi K2 模型详测及 CC+K2 邪修教程。K2 是 1T 参数量的 MoE 开源模型，基准测试成绩优异，在代码、Agent、数学推理任务表现突出，前端能力强，还能驱动 Claude Code，成本低。

多模态大模型代码能力强，但基础视觉任务常失误。UniPat AI推出极简视觉智能体框架SWE-Vision，让模型用代码弥补视觉短板，在五个主流视觉基准测试达最优。该框架设计独特，开源代码和数据已发布。

半小时前马斯克发布Grok - 4，虽Grok3.5跳票、直播迟到被吐槽，但它训练量和算力投入大。在多项基准测试中碾压Claude Opus 4，还具备原生工具调用等能力，xAI目标是让其更快更智能。

杨植麟发布月之暗面最强模型Kimi K2.5，经约15万亿视觉与文本混合数据预训练，有顶尖编程与视觉能力及智能体蜂群范式。在多基准测试表现优，成本低于对手，还能提升办公生产力。

OpenAI官宣下一代旗舰模型GPT - 6 Astra，定义其为「世界上最智能、对齐程度最高」的模型。它多项基准测试成绩惊人，在编程、计算机使用等多领域表现卓越，还改写科研纪录，不过因安全能力强暂未全开放。

9月15日，OpenAI推出新模型GPT - 5 - Codex，是微调的GPT - 5变体，用于AI辅助编程。它增强了代码审查功能，能动态调整思考时间，在多项基准测试中表现优于GPT - 5，发布后引发网络热议，AI编码工具市场竞争激烈。

非营利研究机构METR报告显示，Agent能力每7个月翻一番，这在9项基准测试中得到验证，任务涉及编程、数学等领域，大模型正迈向高度自动化，且Agent性能提升快，未来处理复杂任务能力或更强。