「基准测试成本」共找到 3368 篇相关文章
前Meta大神创业，用强化学习打造PokeeResearch-7B模型，刷新AI深度研究SOTA
Pokee AI发论文介绍70亿参数的PokeeResearch - 7B模型，用基于AI反馈的强化学习和推理框架，在深度研究基准测试中成绩领先。该公司由前Meta大神创立，产品可打通多应用，已获融资并公开测试。
GAIR Paper 107｜高校联合腾讯发布 GameCraft-Bench：AI已能端到端开发游戏，Claude Opus 四成达到可玩水平
香港中文大学（深圳）等高校联合腾讯发布 GameCraft-Bench，旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准，解决现有基准难衡量端到端可玩性的问题，测试显示前沿模型在游戏生成上仍薄弱。
开源模型首次物理奥赛IPhO夺金！上海AI Lab 235B模型击败GPT-5和Grok-4
上海AI Lab的P1 - 235B - A22B在国际物理奥林匹克竞赛夺金，在HiPhO基准测试获12金1银，超越GPT - 5等闭源模型。团队构建HiPhO基准测试，用多阶段强化学习训练模型，开发PhysicsMinions系统提升推理能力。
7个AI玩狼人杀，GPT-5获断崖式MVP，Kimi手段激进
OpenAI总裁转发基准测试，让7个LLMs玩210场狼人杀。GPT - 5胜率96.7%断崖式领先，国产Qwen3和Kimi - K2分列第4、6。测试方分析模型性格，还借此研究LLMs社会行为，长远目标是实现AI驱动的市场研究。
让模型“看视频写网页”，GPT-5仅得36.35分！上海AI Lab联合发布首个video2code基准
上海人工智能实验室等机构提出IWR - Bench评测基准，从“image - to - code”迈向“video - to - code”，对28个主流模型测试，最佳模型GPT - 5仅36.35分，指出当前模型短板，为研究指明方向。
Docker 通过 Cagent 提供 AI 代理确定性测试
AI 代理系统普及，工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法，采用 proxy - and - cassette 模型，虽处早期，但揭示了 AI 代理测试的不同方向。
GPT-6第1天直接攻破5道Erdős难题！Fable 5.1交了白卷
Epoch AI和曼彻斯特大学发布FME基准测试论文，让68道未解数学难题成5个顶级AI的考场。GPT - 6 Astra成唯一得分非0分模型，放宽预算共解开5道，其余4个AI全交白卷。该测试是对陶哲轩批评的回应。
比人类专家快2倍，斯坦福联合英伟达发布TTT-Discover：用「测试时强化学习」攻克科学难题
斯坦福与英伟达等机构联合提出 TTT - Discover 方法，让 LLM 在测试时强化学习。它在多任务上成绩出色，如在数学、GPU 内核等领域超越人类和其他 AI，计算成本低，或为持续学习打开新空间。
我们离Coding领域的「AGI时刻」还有多远？字节跳动Seed发布NL2Repo-Bench仓库级长程代码生成基准
在AI编程领域，大家认为Coding领域的AGI似乎可以实现，然而真正的项目开发要求更高。近日，字节跳动Seed等联合发布首个评估编码智能体端到端仓库生成能力的基准测试NL2Repo - Bench，还介绍了其构建、评估等情况。
规范对齐时代：GPT-5 断层领先，让安全与行为边界更明晰
上海交通大学等团队提出规范对齐概念，构建评测基准 SpecBench 评测 33 个主流模型，发现多数模型有不足。还探索测试时深思方法，如 Align3 能提升规范遵循度，GPT - 5 在规范对齐上断层领先。