「SWE基准测试」共找到 2078 篇相关文章
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。
ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准
文章指出推理阶段扩展（TTS）能提升推理大模型解决复杂问题的能力，但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准，评测显示N - gram方法在特定场景加速潜力大，混合策略性能更优。
浙大推出首个「多图应用题」基准GSM8K-V，全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V，将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面，经三阶段构建。实验显示，现有视觉语言模型在视觉推理上短板明显，为模型发展指明方向。
53.7% 高学历政企人员“看走眼”！公文写作AI智能体首次通过图灵测试
2025数博会期间双盲测试中，53.7%高学历政企人员将‘方寸智脑’生成公文误判为人类作品。它与华为云合作，解决政务AI落地困局，实现政务公文写作三阶跨越，已服务众多用户。
告别评估乱象！首个视觉解释综合性基准发布，附人类真值 | KDD'25
埃默里大学团队推出首个视觉解释基准Saliency - Bench，构建8个任务的数据集，提供标准化评估流程与开源工具包，解决评估缺乏标准等问题，推动可解释AI向可靠、透明发展。
人类最后考试登上Nature：全球50个国家近千名顶尖学者打造的AI测试集
人类最后的考试（HLE）登上Nature，这一测试集由全球50个国家近千名顶尖学者打造，含2500道高难度试题。现有的人工智能评估工具已跟不上技术演进，HLE能测出AI极限，让顶尖机器暴露短板。
GPT-6 Astra突袭：正面对垒 Fable 5.1，多项编码测试反超！OpenAI 总裁：欢迎来到 AGI 时代
今天凌晨，OpenAI 发布 GPT-6 Astra，公司称是多年研究成果。它在多项测试表现出色，编程、电脑操作等能力提升，还加强了安全措施。将面向部分用户及通过 API 和 AWS 推出。
谷歌深夜放出 IMO 金牌模型，多项测试力压 Grok 4、OpenAI o3！网友评论两极分化
8月1日晚谷歌向Ultra订阅用户推Deep Think功能，Gemini 2.5 Deep Think模型在IMO夺冠。它是多智能体模型，能并行处理问题。多项测试中表现优于Grok 4、o3，不过网友评价不一。
谷歌深夜放出 IMO 金牌模型，多项测试力压 Grok 4、OpenAI o3！网友评论两极分化
昨夜谷歌向 Google AI Ultra 订阅用户推 Deep Think 功能，Gemini 2.5 Deep Think 模型获 IMO 金牌。它是多智能体模型，通过并行思维输出答案，在多领域及测试中表现佳，但网友评价不一。
Claude Opus 4.1 上线，SWE-bench 验证率 74.5%，重构可靠性与安全性全面升级
Anthropic推出Claude Opus 4.1，是Opus 4重要升级版。SWE - bench验证率从72.5%提至74.5%，多文件代码重构可靠性及长链交互推理能力增强，无害响应率提升，合作率下降，定价不变。