算法论文8

COUNTERMATH戳破大模型数学“刷题假象”

深度学习自然语言处理2025-08-25

AI 摘要

清华等团队：提出反例推理评测基准COUNTERMATH，测试20多个主流数学大模型，发现多数模型表现差，靠“刷题”不行，而小样本微调能提升模型数学概念理解与推理能力。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Perplexity自研CobbleDB替代DynamoDB

Perplexity核心搜索面向大模型检索，原有存储Amazon DynamoDB在高流量下存在延迟高、成本不可控问题，两名工程师两个月用Rust写出4万行自研CobbleDB，迁移后性能成本均大幅优化，后续计划开源。

本文介绍发表于Nature Machine Intelligence的最新研究，系统探究语言模型与人脑推理表征的对应关系，验证人脑信号可引导提升语言模型推理鲁棒性，为脑启发AI提供了新研究路径。

本文结合EchoRL、ReflectRL两项最新研究，重新解读推理轨迹的训练价值，解决全答对无强化信号、错题全丢弃的训练痛点，梳理方法设计、实验结果与适用边界，为大模型推理训练提供新参考。

本文报道OpenAI最新AI进展，其内部新模型批量攻破100多道长期悬而未决的公开数学难题，联合普林斯顿高等研究院成立独立学术顾问小组规范成果评估，引发数学界震动。