「编程基准测试」共找到 2946 篇相关文章
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
1.93bit版DeepSeek-R1编程超过Claude 4 Sonnet，不用GPU也能运行
1.93bit量化后的DeepSeek - R1（0528）编程能力超Claude 4 Sonnet，在aider榜单获60分。Unsloth工作室制作9个量化版本，小版本不用GPU也能跑。R1 - 0528在游戏评测中表现也佳。
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。
Codeforces难题不够刷？谢赛宁等造了个AI出题机，能生成原创编程题
LiveCodeBench Pro团队推出AutoCode框架，利用LLM自动化竞赛编程问题创建与评估。该框架结合验证器 - 生成器 - 检查器框架与双重验证协议，在测试用例生成上可靠性佳，还能生成新问题，同时揭示了LLM在创作上的优劣势。
Nano Banana不及格，开源模型一分难求！上海AI Lab新基准直击文生图模型痛点
上海人工智能实验室等联合发布首个多学科文生图考试基准GenExam，覆盖10学科、1000题。实验显示，GPT - 4o严格评分正确率仅12.1%，开源模型接近0分，暴露出模型在专业场景的短板。
刚刚，LMArena最新模型榜单出炉！DeepSeek-R1网页编程能力赶超了Claude Opus 4
LMArena最新模型榜单出炉，DeepSeek - R1（0528）表现亮眼。在文本基准测试中整体排第6、开放模型中排第一，细分领域也成绩优异，在WebDev Arena平台与闭源大模型并列第一，超Claude Opus 4。
前Meta大神创业，用强化学习打造PokeeResearch-7B模型，刷新AI深度研究SOTA
Pokee AI发论文介绍70亿参数的PokeeResearch - 7B模型，用基于AI反馈的强化学习和推理框架，在深度研究基准测试中成绩领先。该公司由前Meta大神创立，产品可打通多应用，已获融资并公开测试。
GAIR Paper 107｜高校联合腾讯发布 GameCraft-Bench：AI已能端到端开发游戏，Claude Opus 四成达到可玩水平
香港中文大学（深圳）等高校联合腾讯发布 GameCraft-Bench，旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准，解决现有基准难衡量端到端可玩性的问题，测试显示前沿模型在游戏生成上仍薄弱。
开源模型首次物理奥赛IPhO夺金！上海AI Lab 235B模型击败GPT-5和Grok-4
上海AI Lab的P1 - 235B - A22B在国际物理奥林匹克竞赛夺金，在HiPhO基准测试获12金1银，超越GPT - 5等闭源模型。团队构建HiPhO基准测试，用多阶段强化学习训练模型，开发PhysicsMinions系统提升推理能力。
7个AI玩狼人杀，GPT-5获断崖式MVP，Kimi手段激进
OpenAI总裁转发基准测试，让7个LLMs玩210场狼人杀。GPT - 5胜率96.7%断崖式领先，国产Qwen3和Kimi - K2分列第4、6。测试方分析模型性格，还借此研究LLMs社会行为，长远目标是实现AI驱动的市场研究。