「SWE - bench - Live」共找到 197 篇相关文章
脑机接口“上车”前夜:科学奇点、临床拐点与产业爆点的三角共振 | GAIR Live 022期预告
2024年初马斯克让人类实现“意念拨弄鼠标”,2026年更放言Neuralink将量产。脑机接口从科研走向商业化,技术、伦理与商业模式待清晰。GAIR Live 022期线上圆桌将探讨其前沿进展与落地挑战。
MiniMax开源首个视觉RL统一框架,闫俊杰领衔!推理感知两手抓,性能横扫MEGA-Bench
MiniMax开源首个视觉RL统一框架V-Triune,由闫俊杰领衔。该框架通过三层组件设计和动态IoU奖励机制,让VLM能联合学习推理和感知任务。还开发Orsta模型系列,在MEGA - Bench表现出色,且MiniMax多模态布局动作多。
景不动人动,MLLM如何面对「移步换景」的真实世界?OST-Bench揭示多模态大模型在线时空理解短板
上海多所高校研究者提出 OST - Bench,从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界,揭示主流多模态大模型在线时空理解短板,为未来模型发展指明方向。
我们离Coding领域的「AGI时刻」还有多远?字节跳动Seed发布NL2Repo-Bench仓库级长程代码生成基准
在AI编程领域,大家认为Coding领域的AGI似乎可以实现,然而真正的项目开发要求更高。近日,字节跳动Seed等联合发布首个评估编码智能体端到端仓库生成能力的基准测试NL2Repo - Bench,还介绍了其构建、评估等情况。
Coding Agent 自主解题很强,但用户改一行代码就"翻车"?自所团队提出 SWE-Touch 揭示共享工作空间下的能力缺口
当前基于大模型的Coding Agent是热门研究方向,现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架,对9个前沿模型测试,发现用户干预下模型性能下降、排名洗牌。
GAIR Paper 107|高校联合腾讯发布 GameCraft-Bench:AI已能端到端开发游戏,Claude Opus 四成达到可玩水平
香港中文大学(深圳)等高校联合腾讯发布 GameCraft-Bench,旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准,解决现有基准难衡量端到端可玩性的问题,测试显示前沿模型在游戏生成上仍薄弱。
4倍速吊打Cursor新模型!英伟达数千GB200堆出的SWE-1.5,圆了Devin的梦!实测被曝性能“滑铁卢”?
Cognition推出全新AI编码模型SWE-1.5,专为软件工程任务设计,运行速度快,在基准测试中成绩良好。它基于GB200芯片训练,有定制编码环境,开发有新战略,还与Cursor新模型Composer对比引发关注。
突破Claude-4编程上限!自进化Agent框架拿下新SOTA,底模越好性能越高,已开源
中科院、清华等提出SE - Agent自进化框架,突破Claude - 4编程上限。它让智能体系统性修订、重组与精炼思考过程,在SWE - Bench Verified上刷新开源框架SOTA,已开源。
开源即登榜!登顶全球前十AI编程智能体,UCL初创团队开源Prometheus
UCL初创团队EuniAI开源AI软件智能体Prometheus,在SWE - bench Verified上Pass@1达71.2%,成绩入官方主榜。它有图结构推理设计,能理解代码,成本低,官网有Demo展示其工程化能力。
有人把 Opus 4.6 换掉了,成本省了 97%
智谱开源 GLM - 5.1,数小时获两百万 + 阅读,海外反应更热烈。它在多个编码基准测试成绩优异,如 SWE - Bench Pro 全球第一。还能完成长程任务,有开发者已用其替换 Opus 4.6 节省成本,但速度问题待解决。