「SWE-bench Verified」共找到 171 篇相关文章
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
GPT-5 的秘密武器：Universal Verifiers
OpenAI开发「Universal Verifier」（通用验证器）技术助力GPT - 5。该技术让一个AI模型检查另一个模型输出质量，解决了强化学习难题，使GPT - 5在多领域表现出色，不过技术可能因人员流动扩散。
Auto Research最后一块拼图，Frontier-Eng Bench登场，在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。
刚刚，加入腾讯的姚顺雨发表首篇Paper~
腾讯混元与复旦联合发表论文《CL-bench》，姚顺雨署名并全面细致审阅反馈。CL-BENCH 首次单独考‘现学现卖’，有独特设计原则、四大题型，其评分杜绝‘差不多’，还让 10 个前沿模型‘翻车’。
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
刚刚，腾讯姚顺雨署名首篇论文发布，「下半场」先搞上下文学习
腾讯混元团队和复旦联合团队发布姚顺雨署名首篇论文《CL - bench》。论文证实模型在上下文利用上有能力短板，还构建了CL - bench评测基准，评估发现前沿模型在上下文学习上表现差，未来要让上下文学习走向现实。
Claude Opus 4.5来了：谷歌把Anthropic逼到了墙角
上周谷歌发布Gemini 3 Pro表现惊艳，今日Anthropic推出Claude Opus 4.5应对。其编程能力强，SWE - bench Verified首超80%，且降价66%。还推出产品更新，开发者可按需选模型。
Kimi新模型拿下代码开源SOTA，仅仅72B，发布即开源
深夜，Kimi发布新开源代码模型Kimi - Dev，在SWE - bench Verified上以60.4%成绩获开源SOTA。参数量72B，编程水平强。采用MIT协议，权重和代码已发布。官方透露了部分关键技术，更多细节待后续报告。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。
模型、代码、数据全开源！轻松训练自己的垂类Agent！
Together AI联合Agentica推出`DeepSWE-Preview`，基于开源Qwen模型，用RL在SWE - Bench - Verified登顶。团队将模型权重、训练框架等全开源，抛弃SFT纯用RL训练，还分享训练秘籍和TTS技巧，为垂类Agent训练提供新范本。