「SWE-Bench」共找到 164 篇相关文章
视频模型也能推理，Sora2推理能力超过GPT-5
DeepWisdom团队研究发现视频生成模型能推理，在空间类任务上比图文模型更擅长。团队推出VR - Bench基准测试，构建客观评分体系。实验显示视频模型在空间推理有优势，相关代码和数据集已开源。
CVPR2025视频生成统一评估架构，上交x斯坦福联合提出让MLLM像人类一样打分
Video-Bench视频评估框架由上海交通大学、斯坦福大学等团队提出，能让MLLM像人一样评估视频。它构建双维度评估框架，引入链式查询和少样本评分技术，突破现有评估方法限制，更全面智能地评分。
字节Seed开源长线记忆多模态Agent，像人一样能听会看
字节Seed发布全新多模态智能体框架M3 - Agent，能听会看、有长期记忆且免费开源。团队还开发新长视频问答基准M3 - Bench并开源。实验显示，M3 - Agent在多基准测试中显著优于基线模型。
Claude Sonnet 4.5被炸出来了，依旧最强编程，连续30小时自主运行写代码
新发布的Claude Sonnet 4.5在SWE - bench等多项测试中成绩提升，能连续30小时自主写代码，还改善了对齐和安全性指标，且提质不加价。此外，Anthropic官宣Claude Agent SDK，发布Imagine with Claude功能。
Claude不到4%，全军覆没！一场大考撕碎Agent「全自动办公」幻想
新智元报道，UniPat AI的SaaS - Bench实战考卷，用23个真系统、106个任务测试Agent。结果显示，Claude Opus 4.7完全通过分数仅3.8%，多数模型全军覆没，暴露了Agent在真实环境中的四种致命缺陷。
Kimi新模型拿下代码开源SOTA，仅仅72B，发布即开源
深夜，Kimi发布新开源代码模型Kimi - Dev，在SWE - bench Verified上以60.4%成绩获开源SOTA。参数量72B，编程水平强。采用MIT协议，权重和代码已发布。官方透露了部分关键技术，更多细节待后续报告。
别被室内基准高分骗了：大模型是在推理空间，还是在「背答案」？
2025年，空间智能成大模型竞争新热点，模型在室内基准上分数飙升。但因训练与测试数据同源，其提升或只是“背答案”。中科院大学等机构发布OSI - Bench重新审视大模型空间能力，评测显示当前提升可能是虚假繁荣。
AI Agent 距离真正替人「全自动办公」，还有多远？
Meta、微软和 xAI 被曝监视员工操作来训练 AI，原因是真实办公中 AI Agent 表现不佳。SaaS - Bench 评测显示顶级大模型表现糟糕，智能体存在长周期任务脆弱、跨应用错误放大等问题，未来 SaaS 软件或需为 Agent 重新设计。
让AI像人类一样认知真实世界！UCLA谷歌强强联手，长时记忆+3D空间理解超越基线16.5%
如何让AI在3D环境中像人类一样思考，是具身智能领域难题。UCLA与谷歌团队带来3DLLM - MEM模型与3DMEM - BENCH基准，让AI有构建、维护和利用长时记忆能力，实验超基线16.5%，但有依赖模拟器预设的局限。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。