「Coding 基准测试」共找到 2875 篇相关文章
Nano Banana不及格，开源模型一分难求！上海AI Lab新基准直击文生图模型痛点
上海人工智能实验室等联合发布首个多学科文生图考试基准GenExam，覆盖10学科、1000题。实验显示，GPT - 4o严格评分正确率仅12.1%，开源模型接近0分，暴露出模型在专业场景的短板。
前Meta大神创业，用强化学习打造PokeeResearch-7B模型，刷新AI深度研究SOTA
Pokee AI发论文介绍70亿参数的PokeeResearch - 7B模型，用基于AI反馈的强化学习和推理框架，在深度研究基准测试中成绩领先。该公司由前Meta大神创立，产品可打通多应用，已获融资并公开测试。
谷歌 Gemini API 负责人自曝：用竞品Claude Code 1小时复现自己团队一年成果，工程师圈炸了！
谷歌主管工程师 Jaana Dogan 称，用竞品 Claude Code 一小时就生成了接近自己团队一年成果的系统。她公开评价引发争议，也让大家思考‘一年工程 vs 一小时生成’背后被压缩的是什么。
GAIR Paper 107｜高校联合腾讯发布 GameCraft-Bench：AI已能端到端开发游戏，Claude Opus 四成达到可玩水平
香港中文大学（深圳）等高校联合腾讯发布 GameCraft-Bench，旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准，解决现有基准难衡量端到端可玩性的问题，测试显示前沿模型在游戏生成上仍薄弱。
开源模型首次物理奥赛IPhO夺金！上海AI Lab 235B模型击败GPT-5和Grok-4
上海AI Lab的P1 - 235B - A22B在国际物理奥林匹克竞赛夺金，在HiPhO基准测试获12金1银，超越GPT - 5等闭源模型。团队构建HiPhO基准测试，用多阶段强化学习训练模型，开发PhysicsMinions系统提升推理能力。
7个AI玩狼人杀，GPT-5获断崖式MVP，Kimi手段激进
OpenAI总裁转发基准测试，让7个LLMs玩210场狼人杀。GPT - 5胜率96.7%断崖式领先，国产Qwen3和Kimi - K2分列第4、6。测试方分析模型性格，还借此研究LLMs社会行为，长远目标是实现AI驱动的市场研究。
Docker 通过 Cagent 提供 AI 代理确定性测试
AI 代理系统普及，工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法，采用 proxy - and - cassette 模型，虽处早期，但揭示了 AI 代理测试的不同方向。
OpenAI发布新模型硬刚Anthropic！Claude Code刚火，就被GPT-5-Codex拍在沙滩上？
9月15日，OpenAI推出新模型GPT - 5 - Codex，是微调的GPT - 5变体，用于AI辅助编程。它增强了代码审查功能，能动态调整思考时间，在多项基准测试中表现优于GPT - 5，发布后引发网络热议，AI编码工具市场竞争激烈。
有人把 Opus 4.6 换掉了，成本省了 97%
智谱开源 GLM - 5.1，数小时获两百万 + 阅读，海外反应更热烈。它在多个编码基准测试成绩优异，如 SWE - Bench Pro 全球第一。还能完成长程任务，有开发者已用其替换 Opus 4.6 节省成本，但速度问题待解决。
代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放
检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。