「SWE基准测试」共找到 2075 篇相关文章
构建会思考的测试Agent：从自动化到自主智能的演进
文章介绍面向企业级软件测试的质量数字人系统，结合大语言模型等实现从传统到自主智能测试跨越。分析专有云测试困境，指出通用AI Agent平台局限，阐述系统设计、能力及架构，展示应用成果并展望扩展场景与未来计划。
吴恩达来信：Agentic编程与Agentic软件测试协同合作
在人工智能辅助编程时代，自主代理编程系统虽加快开发速度，但存在不稳定性。自主测试可对比代码与测试，对软件基础设施组件测试有益。吴恩达分享编程智能体问题及测试重点领域。
Hexstrike AI在多个工具及模型上的渗透测试表现
文章围绕Hexstrike AI在多个工具及模型上的渗透测试展开。介绍测试环境，用不同难度靶机测试。分析Claude desktop+Sonnet 4.5、AIaW+Deepseek、Cursor+多个模型等组合表现，指出LLM辅助渗透测试任重道远。
全球首个历史基准！普林复旦打造AI历史助手，AI破圈人文学科
普林斯顿大学AI实验室与复旦大学历史学系联手推出全球首个历史领域评测基准HistBench及AI助手HistAgent。HistBench含414道题，能检验AI深度认知能力；HistAgent集成多种工具，在测试中表现优异。
DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。
Salesforce 最新研究：LLM 智能体 CRM 测试成功率低至 35%，保密意识还低，企业敢用吗？
Salesforce AI 研究团队新基准测试显示，LLM 智能体在 CRM 测试中表现欠佳，单步任务成功率约 58%，多步任务降至 35%，且保密意识低，与企业需求差距大。
成功率最高暴跌36.9%！南洋理工首个“模糊指令”测试，直击具身智能落地软肋
南洋理工大学MARS Lab团队联合发布测试基准REI-Bench，量化现有具身智能大模型缺陷。在其测试下，主流任务成功率最高降36.9%。研究还剖析错误原因，给出解法，望引起学界重视。
北大伯克利联手“拷问”大模型：最强Agent也才40分！新基准专治“不听话”的AI分析师
北大与伯克利团队推出IDA - Bench新基准，模拟真实数据分析场景，解决现有基准无法评估大模型在动态交互中可靠性的问题。测试显示，顶尖大模型成功率最高仅40%，不同模型还暴露多种问题。
用「进化+压力测试」自动生成的竞赛级编程题，各家大模型谁更hold住？
北京大学与通用人工智能研究院联合提出 UniCode 框架，构建进化式评测系统，能自动生成高质量算法题目与抗污染测试用例。通过对 19 个前沿大模型测试，展现高挑战性与强判别力，为代码能力评估开辟新路径。
GPT-5、Grok 4、o3 Pro都零分，史上最难AI评测基准换它了
AAI机构提出新基准FormulaOne，让GPT - 5、o3 Pro等前沿大模型集体得零分。该基准含220个图结构动态规划问题，分三类难度。测试结果显示，模型在深层及最深层难度表现差，引发关注。