「数学评测」共找到 1005 篇相关文章
AI证伪百年数学猜想被打假!Lean证明惊现漏洞,哥大教授破防了
OpenAI新推理模型取得十项数学进展,如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望,因证明有AI味且难理解。此外,Lean证伪科拉兹猜想被指利用内核漏洞,专家提醒Lean验证有局限。
Embodied Arena:业界首个统一具身大脑评测平台重磅发布,30+模型全面对比揭示关键洞察
具身智能火热,研究者常感茫然。Embodied Arena评测平台上线,它全面统一且持续演进,涵盖22+基准测试和30+模型,构建评估体系,揭示关键洞察,为具身模型发展指引方向。
港科提出新算法革新大模型推理范式:随机策略估值竟成LLM数学推理「神操作」
香港科技大学联合团队提出 ROVER 算法,跳过传统强化学习推理的策略迭代循环。它在多项数学推理基准上超越现有方法,在高难度任务中大幅提高 pass@1 和 pass@256,且提升推理多样性,更轻量。
大模型也需要自我反思,上海AI Lab合成“错题本”让大模型数学成绩提升13.3%
上海AI Lab提出LEMMA方法,构建“错误 - 反思 - 修正”数据,让大模型从错误中学习。通过教师模型定向制造“学生会犯的错”构造数据,实验显示在Llama3 - 8B上数学解题准确率提升13.3%。
4B小模型数学推理首超Claude 4,700步RL训练逼近235B性能 | 港大&字节Seed&复旦
香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方,让4B模型数学推理能力超商业大模型,且Polaris-4B可在消费级显卡部署,相关内容已全部开源。
SOTA大模型遇上加密数据评测:Qwen3未破10%,o1也栽了丨上海AI Lab等联合研究
当前推理模型在基准测试中性能卓越,但在密码学领域推理能力待探索。上海AI Lab等推出CipherBank评测,用海量真实隐私场景数据和多类型密码算法挑战SOTA大模型,结果显示模型表现不佳,还分析了模型“犯难”原因。
说一个反常识的真相,Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性,以阿里国际站RealReplicaBench评测集为例,介绍电商场景任务,发现多数模型成功率低,其他领域类似,呼吁厂商努力,作者也计划自跑评测更新排名。
OpenAI谈:大模型为什么会有幻觉?如何避免?
OpenAI论文探讨大模型幻觉问题,指出评测缺陷,像多数AI模型评测非对即错,模型为得分会瞎猜。还从预训练和后训练阶段剖析根源,提议改造评测,引入置信度阈值和错误惩罚机制。
陶哲轩亲自曝光:AI破解数学难题,竟全是「抄」的?
数学大神陶哲轩发现,AI声称破解的Erdos难题,实则是多年前已被人类解决的旧闻。他指出当下AI进化逻辑并非创新,而是利用算力扫描人类文献的‘长尾黑洞’,其核心价值是填补人类知识遗忘漏洞。
AI破解56年数学难题登Science!还是DeepMind讲究,成果交给同行评审
本文报道谷歌DeepMind推出AI数学证明框架AlphaProof Nexus,破解多道悬而未决的数学难题含两道56年埃尔德什开放问题,成果经同行评审登上《Science》,对比OpenAI此前发布方式的争议,介绍其工作流程。