「编程竞赛基准」共找到 2037 篇相关文章
打破AI能力的惯性评估方式，红杉中国推出全新双轨基准测试xbench｜甲子光年
红杉中国推出全新AI基准测试工具xbench，采用双轨评估体系，构建多维度测评数据集，追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制，首期发布两个核心评估集并给出综合排名，公开后邀各界完善。
GAIR Paper 107｜高校联合腾讯发布 GameCraft-Bench：AI已能端到端开发游戏，Claude Opus 四成达到可玩水平
香港中文大学（深圳）等高校联合腾讯发布 GameCraft-Bench，旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准，解决现有基准难衡量端到端可玩性的问题，测试显示前沿模型在游戏生成上仍薄弱。
Andrej Karpathy 爆火演讲刷屏技术圈：AI 开启软件 3.0，重写一切的时代来了！
Andrej Karpathy 在旧金山 AI 创业学校演讲，指出 AI 开启软件 3.0 时代，自然语言成编程接口。软件经历 1.0 代码、2.0 神经网络权重，现进入 3.0 用提示词编程大模型阶段，还探讨大模型特性、应用及相关问题。
前 Codex 大神倒戈实锤！吹爆 Claude Code：编程提速 5 倍，点破 OpenAl 死穴在上下文
OpenAI Codex 早期研发者 Calvin French - Owen 在播客中锐评代码智能体，偏爱 Claude Code，称其搭配 Opus 模型写代码速度提 5 倍。他强调上下文管理重要性，还对比了 Claude Code 与 Codex 产品理念差异。
突破Claude-4编程上限！自进化Agent框架拿下新SOTA，底模越好性能越高，已开源
中科院、清华等提出SE - Agent自进化框架，突破Claude - 4编程上限。它让智能体系统性修订、重组与精炼思考过程，在SWE - Bench Verified上刷新开源框架SOTA，已开源。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
Meta亿元天团首个大模型交卷！余家辉宋飏Jason Wei耗时九个月，一雪Llama前耻
Meta超级智能实验室耗时9个月推出原生多模态模型Muse Spark，发布后股价拉升。它让Meta在第三方测评中赶上第一梯队，虽在编程和长时间自主运行有差距，但在多模态理解等方面表现突出，不过也有编程翻车情况。
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。
千问模型预览版杀到全球第6，马斯克称中国将赢得地球上的AI竞赛！
LMArena更新榜单，阿里千问新旗舰预览版获1464分，全球排第六、中国第一。阿里在全球大模型实验室排第五，全球前十中有五家中国公司。千问3.5预览版表现出色，正式版值得期待。
“老程序员”为啥不迷信 AI 带来的效率提升？聊聊 AI 编码的局限与现实
开发经验丰富的人对AI编码提升效率更保守，因现有开发模式下，AI编程效率提升有限。特定场景AI给力，但项目复杂时提升迅速下降，还分析了原因，最后提到微服务架构或在AI编程时代重新火起来。