PhyX基准测试」共找到 2041 篇相关文章

新闻资讯7

GPT-5仅23.3%,全球AI集体挂科!地狱级编程考试,夺金神话破灭

最新基准测试SWE-Bench Pro评估AI编程智能体,直面真实企业级工程任务。顶尖模型几乎溃败,GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题,能成未来LLM编码能力标尺。

新智元
算法论文8

北大伯克利联手“拷问”大模型:最强Agent也才40分!新基准专治“不听话”的AI分析师

北大与伯克利团队推出IDA - Bench新基准,模拟真实数据分析场景,解决现有基准无法评估大模型在动态交互中可靠性的问题。测试显示,顶尖大模型成功率最高仅40%,不同模型还暴露多种问题。

量子位
算法论文8

用「进化+压力测试」自动生成的竞赛级编程题,各家大模型谁更hold住?

北京大学与通用人工智能研究院联合提出 UniCode 框架,构建进化式评测系统,能自动生成高质量算法题目与抗污染测试用例。通过对 19 个前沿大模型测试,展现高挑战性与强判别力,为代码能力评估开辟新路径。

机器之心
新闻资讯7

GPT-5、Grok 4、o3 Pro都零分,史上最难AI评测基准换它了

AAI机构提出新基准FormulaOne,让GPT - 5、o3 Pro等前沿大模型集体得零分。该基准含220个图结构动态规划问题,分三类难度。测试结果显示,模型在深层及最深层难度表现差,引发关注。

机器之心
开源动态8

8B模型任务击败GPT-5?阶跃星辰开源Deep Think新框架,小模型解锁百万Token测试时计算

阶跃星辰推出并行协同推理框架PaCoRe,让大模型突破上下文窗口和处理速度限制。基于此框架,小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5,还具备前沿性能、“综合”能力涌现等优势。

机器之心
新闻资讯7

Show me《指环王》!卡帕西强推大模型评测新基准

大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度,这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙,但网友测试展现出丰富创意,不过新测试也引发争议。

量子位
算法论文8

全球顶尖AI做物理,被人类按地摩擦?不懂推理大翻车,本科生碾压

港大等机构用3000道物理题测试顶尖大模型,如GPT - 4o、Claude 3.7 Sonnet等,结果模型准确率远低于人类专家。研究推出PHYX基准测试,揭示模型依赖知识、公式和模式匹配,缺乏真正物理理解。

新智元
开源动态7

给Kali 加个MCP,直接用cursor做渗透测试

文章围绕用MCP调用Kali进行渗透测试展开,介绍国外大神实现此方法并开源。阐述系统原理、Cursor配置,通过实际测试展示效果,指出MCP让渗透测试调用更简洁,是较大进步,还给出了代码链接。

AI与安全
产品应用7

从人工到AI驱动:天猫测试全流程自动化变革实践

AI时代,天猫技术质量同学探索AI在测试全流程提效的落地方案,将传统测试工作链拆解为五阶段,目标是实现全流程自动化等。介绍了测试体系变革、所需关键能力、技术架构及落地收获与未来趋势。

阿里云开发者
新闻资讯7

AI 写代码太快,人类测试跟不上了,Meta 用新方法把 bug 检出率提升 4 倍

Meta 用即时(JiT)测试方法提升软件质量,该方法在代码评审期间动态生成测试,在 AI 辅助开发环境中将缺陷检测能力提升约 4 倍,源于代理式工作流兴起及传统测试套件的局限。

AI前线