「SWE基准测试」共找到 2078 篇相关文章
马斯克发布 Grok 4 模型：推理能力较前代提升 10 倍，各学科测试接近满分
xAI 发布 Grok 4 及 Grok 4 Heavy 模型，推理能力较前代提升 10 倍，多测试接近满分。马斯克称其为世界最好 AI。它在多方面表现出色，如长任务能力强、推理效率佳等，但代码能力欠佳，且付费昂贵。后续还将推多款模型。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
GLM-5.2真正的跨越：CritPt密闭物理数据集测试得分20.9%，打平Opus-4.8
GLM - 5.2在CritPt密闭物理数据集测试中表现亮眼，与Claude Opus 4.8得分并列，远超其他开源模型，还击败多款闭源模型，实现4.5倍代际飞跃，标志开源模型科学推理能力进步。
打穿 AI 智商测试！GPT-6 Astra 的符号世界模型，是突破还是钞能力刷分？
OpenAI的GPT-6 Astra亮相，在ARC - AGI - 3测试成绩逼近100%，远超GPT - 5.6 Sol。它生成的符号世界模型被认为是AI迈向高级推理必经之路。不过出题人指出其靠Harness加持，离AGI还远。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
1美元Token撬动4800美元收益！AI挑战百万美元级基准，最赚钱的Agent出现了
Humanlaya Data Lab等机构构建$OneMillion - Bench评测基准，用经济价值衡量模型。它含400道高难题目，覆盖多领域。目前最强模型能产出约50万美元价值，但离可交付专业任务还有距离。
别被室内基准高分骗了：大模型是在推理空间，还是在「背答案」？
2025年，空间智能成大模型竞争新热点，模型在室内基准上分数飙升。但因训练与测试数据同源，其提升或只是“背答案”。中科院大学等机构发布OSI - Bench重新审视大模型空间能力，评测显示当前提升可能是虚假繁荣。
代季峰陈天桥联手AGI首秀炸场！最强开源深度研究模型，GAIA测试82.4分超OpenAI
MiroMind ODR是代季峰加盟陈天桥后的技术首秀，GAIA测试82.4分超OpenAI。它全开源可复现，包括MiroFlow、MiroThinker等四个子项目。团队还曾推出MiroMind - M1，专注提升数学推理能力。
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
横扫八大数学竞赛：清华微软联合提出STAR-PólyaMath，Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath，构建探索 - 推理 - 验证框架，解决大模型长程数学推理瓶颈，在八大数学竞赛基准获最优成绩，还可泛化到其他推理场景。