「基准测试集」共找到 2465 篇相关文章
一周两破18年数学纪录！陶哲轩惊叹：AlphaEvolve带来久违「加速度」
人类数学家与AlphaEvolve携手，一周内两次刷新18年未破的数学纪录。先是AlphaEvolve将和差集的θ下界提升，后人类数学家Gerbicz在其基础上再进一步，展现AI与人类协作在数学研究中的惊人潜力。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
微软发布NLWeb：把任何网站变成AI应用的秘密武器！
微软在Build 2025大会发布开源项目NLWeb，基于MCP构建，能让任何网站秒变AI应用。它是开放协议和工具集，可添加自然语言对话界面。与其他协议对比有优势，已有组织试用，不过企业采用态度不一。
40位数学家组成8队与o4-mini-medium比赛，6队败北
Epoch AI安排40位数学家组成8支战队，与OpenAI的o4 - mini - medium模型对决，考题来自高难度的FrontierMath数据集。结果AI以6:2击败人类，不过Epoch AI认为AI未明显超人类，但很快会达到。
模型宣称的“百万字处理能力”是真本事，还是营销噱头？LongCodeBench揭露真相
近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。
Anthropic将在两周内推出新思考模型！
据The Information报道，Anthropic将在未来几周推出Claude Sonnet和Claude Opus两款新模型，能在「思考」和「工具使用」间切换，还可自动测试纠正代码。虽此前产品有不足，但新模型处理复杂任务更出色。
TreeHop：无需LLM的高效多跳问答新范式
多跳问答（MHQA）任务有挑战，现有方法依赖LLM，计算成本高、延迟显著。TreeHop研究提出新方案，摒弃LLM，通过嵌入空间动态更新，降低延迟、减少模型参数量，还在主流数据集表现佳，适合工业应用。
全球首个通用决策大模型，AI推演现实世界的技术揭秘
中科闻歌决策机Decitron被称为「全球首个通用决策大模型」，它将不同能力统一到开放世界决策框架，形成闭环。8月3日其技术报告发布，公开三项核心技术，还介绍了推演流程和实验验证情况。
谢尔盖・布林再次进入「创始人模式」？Google押注「AI自我进化」
据路透社报道，Google联合创始人谢尔盖・布林深度介入AI研发，推动递归式自我改进（RSI）方向。此前Google新一代Gemini旗舰模型发布推迟，内部测试显示在关键领域落后对手，此次调整或为提升研发效率。
AI 怎么自我改进？Lilian Weng 的答案是：先写好Harness
提出 Agent 基本公式的 Lilian Weng 探讨 AI 递归自我改进，强调‘harness’重要性，介绍其设计模式、优化方法，还提及未来挑战与有用基准。如 harness 工程额外包含工作流设计等，优化方式多样但也面临评估器弱等问题。