「SWE - bench - Live」共找到 197 篇相关文章
Auto-Research「终极大考」：新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？
当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。
claude 4摔碎了码农的饭碗~
昨晚Anthropic发布Claude 4系列模型，Opus 4编码能力强，SWE - bench测试成绩优，能完成7小时代码重构。Claude 4让完成日级任务的时间提前，各应用纷纷接入，部分产品有应对策略。
ChatGPT语音杀入桌面！你负责动嘴，一群AI负责干活
近日OpenAI将ChatGPT语音功能正式引入桌面版，其底层是新一代语音模型GPT - Live。大佬们看好语音输入，因其能高带宽传递上下文。该功能不仅能闲聊，还可调度智能体，OpenAI想让ChatGPT成AI工作操作系统。
首个地球科学智能体Earth-Agent来了，解锁地球观测数据分析新范式
上海人工智能实验室与中山大学联合研发的 Earth - Agent 解决了多模态大语言模型用于地球科学研究的痛点。它将领域知识工具封装化，利用 LLM 智能规划调度。经 Earth - Bench 评估，其在多方面表现出色，未来发展前景广阔。
最新外国「自研」大模型，都是套壳国产？
本周，Cursor发布新代码模型Composer，Cognition推出新AI模型SWE - 1.5，二者均被指背后基于中国AI模型。业界大佬认为有证据指向中国开源模型，国产开源模型已成AI领域主流，改变全球竞争格局。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。
Agentic Enterprise：生成式软件重新定义企业形态｜AGIX PM Notes
文章指出软件正从静态代码集合变为“Living Software”，企业是其理想训练环境。还提及市场资金流向、多起企业投资合作事件，如英伟达投资英特尔、OpenAI租服务器等，最后介绍了ETF流动性相关知识。
代码榜刷满分，AI科研却撞墙？140道真实研究题撕开「自进化」真相
新工作MLS - Bench覆盖12领域、140个研究任务，评测前沿模型科研能力。虽模型工程执行强，但科学发现能力弱，当前仍难提出有效算法创新。其评测已纳入Kimi K3和Qwen3.8 - Max官方发版表。