搜索：学术基准测试

「学术基准测试」共找到 2194 篇相关文章

北大、字节跳动联手发布SWE-Swiss：一把修复代码Bug的「瑞士军刀」，完整配方直指开源SOTA

北大、字节跳动等联合研究提出SWE - Swiss配方，用于训练解决软件工程问题的AI模型。32B参数的SWE - Swiss - 32B在SWE - bench Verified上准确率达60.2%，各训练环节效果显著，模型和数据将开源。

当前太阳活动高发，传统空间天气预报难满足需求。2025年7月26日，国家卫星气象中心牵头联合研发的“风宇”模型发布，它是全球首个全链式空间天气AI预报模型，提升了我国空间天气预报能力。

现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。

最近，一些简单提示词在AI学术圈掀起风波，操作者将其隐秘嵌入论文诱导AI给高分。谢赛宁合著论文也涉此事，他紧急回应，承认过失，解释缘由并采取补救措施，还呼吁探讨AI时代科研伦理。

苹果论文《思考的错觉》挑战AI推理能力基本假设，引发争议。OpenAI前研究主管则称AGI时代已近。多项研究测试推理模型，指出其有进步也有瓶颈，未来或需换思路，评估方式也待完善。

5月29日，InfoQ研究中心发布《推理模型综合测评报告2025》，通过五大维度、五大题型的300道测试题对八家主流推理模型全面测评，还总结各维度表现，梳理技术前置因素与趋势。6月6日有直播解读。

ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。

MIT一篇名为“Artificial Intelligence, Scientific Discovery, and Product Innovation”的论文曾轰动学术圈，表明AI辅助科研有显著效果。但半年不到，因涉嫌关键实验数据造假被责令撤稿，作者已离开MIT，论文暂未从arxiv下架。

上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。

2025年5月，美两校联合团队在ICRA 2025发布LaMMA - P。它融合大模型与PDDL规划器，解决异构多机器人长时任务分配难题，在新基准数据集上，相比SMART - LLM，任务成功率提高105%，执行效率提升36%。