「SWE-bench Verified」共找到 171 篇相关文章
蚂蚁EGSS算法破解Test Time Scaling困局 | ACL 2026
蚂蚁集团CodeFuse团队在ACL 2026主会论文中提出EGSS算法，破解Test Time Scaling困局。该算法精准识别高不确定性决策点，解决计算冗余与选择脆弱问题，在SWE - Bench - Verified上全模型提升5 - 10%。
BeyondSWE：AI编程80分是真的强，还是考卷太简单？
前沿模型在SWE - bench Verified测试中得分超80%，但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测，规模是前者18倍，模型得分全跌破45%。还提出SearchSWE框架，结果显示搜索与编码能力融合待提升。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
o3绞尽脑汁仅答对40%的题目，开源模型基本乱猜？MMSI-Bench：多图空间智能试金石
文章介绍了MMSI - Bench，这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板，还开发自动化错误分析流程助力改进。
LangChain 推出开源异步编码智能体 Open SWE
LangChain发布开源异步编码智能体Open SWE，可在云端处理复杂开发任务，能集成到开发者工作流。它连接GitHub仓库，在沙箱运行，强调人在回路控制，多智能体架构保障代码质量，早期反应褒贬不一。
比肩OpenAI Simple Codex，中国团队闯入Terminal-Bench全球第二！
Anthropic和OpenAI推出新模型后，基础大模型较量进入实战比拼。中国团队Feeling AI的CodeBrain - 1在Terminal - Bench 2.0榜单排全球第二，它聚焦代码编写运行，还能动态调整计划策略，展现出高含金量。
73%人类认同率！Video-Bench实现视频质量精准打分
上海交大等团队提出视频评估框架Video - Bench，让多模态大模型‘像人一样评判视频’。它构建双维度评估框架，引入链式查询和少样本评分技术，与人类判断73%高相关，为视频生成模型优化提供标尺。
大模型开网店，谁是经营高手？E-Commerce Bench开源揭秘
为评估模型长程经营能力，联合淘天集团发布E-Commerce Bench，以10万本金、365天经营网店来评测。从多维度评估18个模型，结果差异大，还发现单一指标会掩盖模型表现，评估基准潜力大。
verify-data：一个端到端的数据验数 Agent Skill
本文介绍端到端数据验证 Agent Skill——verify-data，它能自动完成从表结构获取到报告发布全流程，将传统手工验数升级。文章从多方面展开介绍，还给出未来演进方向，为开发者提供参考。