「SWE基准测试」共找到 2137 篇相关文章
CrowdStrike联手Meta发布AI安全基准，让AI在真实网络攻击中证明自己
美国网络安全巨头CrowdStrike与Meta在Fal.Con 2025大会联合推出开源基准测试套件CyberSOCEval，旨在评估AI大语言模型在真实SOC环境下的网络安全能力，它源于Meta之前框架，开源供全球开发者使用。
大模型转行土木工程！首个「打灰人」评估基准：检验读、改工程图纸能力
首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。
单次训练横扫9个基准，遥感检测最大数据集与基础模型框架问世
北京航空航天大学团队发布面向通用遥感目标检测的大规模数据集与基础模型框架 LEVIRDet，构建了 LEVIRDet - 159 数据集，提出 LEVIRDetNet 模型。前者为训练泛化能力强的模型提供新数据基础，后者在多基准测试中表现出色。
陈天桥旗下AI公司MiroMind打造全球顶尖预测型大模型，性能登顶行业基准
全球首个动态实时LLM智能体未来预测基准FutureX推出，陈天桥旗下MiroMind团队连续两周蝉联冠军。其模型采用记忆驱动机制，为预测与决策设计，还展现了在多领域的预测能力，且将开放相关框架和模型。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
OpenAI很看好！首个SWE-1模型发布，软件开发或将提速99%
Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。
The Batch: 916 | Gemini 强势领跑
谷歌更新旗舰 Gemini 模型，推出 Gemini 3.1 Pro Preview，以相同价格实现性能跃升。它在多项基准测试中领先，性价比超对手，虽部分测试落后竞品，但提升或源于模型质量改进，成本效益策略值得关注。
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。
Nano Banana不及格，开源模型一分难求！上海AI Lab新基准直击文生图模型痛点
上海人工智能实验室等联合发布首个多学科文生图考试基准GenExam，覆盖10学科、1000题。实验显示，GPT - 4o严格评分正确率仅12.1%，开源模型接近0分，暴露出模型在专业场景的短板。
大模型首次直接理解代码图：不用Agent自动修bug，登顶SWE-Bench开源模型榜单
蚂蚁开源新模型CGM，首创将仓库代码图模态融入大模型，不依赖闭源模型和复杂Agent，仅需4步就能快速定位、生成补丁。它在多个测试基准中领先，技术论文等均已开源。