「正确率」共找到 21 篇相关文章
Opus 5通关ARC-AGI-3!Harness正在变成捆住模型的绳子
ARC Prize官方给Opus 5的ARC - AGI - 3成绩为30.2%,但开发者Jeremy Berman让其借助电脑,正确率飙升至96.2%。还开源代码,换用Codex等测试效果差。表明模型强时,简单环境更佳。
国内首套:港中文团队发布7模态人体动作数据集,揭开大模型理解能力短板
港中文邢国良教授团队博士生蒋思阳完成 CUHK-X 多模态人体动作数据集,成果被 ACM MobiSys 2026 接收。用其测试主流大模型,发现理解人类动作平均正确率仅四成。该数据集数据收集方法反常规,还开展了基准测试。
字节Seed数学新模型,SOTA了
字节发布全新复杂数学解决模型Seed-Prover,全面超越谷歌AlphaGeometry2,在MiniF2F数据集达100%正确率。它采用引理式证明,集成几何推理引擎Seed-Geometry,还展现了卓越泛化能力。
codex降智大bug找到了,一句话让它把智商找回来!
近日Codex被降智,网友监测其智商曲线下降。L站大佬发现大bug及解法,在全局agents.md加特定语句,可让它大幅恢复智商。测试显示,加语句后正确率提升,降智概率降低。
大厂程序员:AI正在将我们变成高速流水线工人,受不了了
亚马逊鼓励程序员用AI,结果成变相强迫,人员减半、项目提前,程序员只能让AI写代码,但AI编程正确率低,让工作更繁杂,职业晋升也成问题。亚马逊官方称AI能提效,双方看法不一。
Nano Banana不及格,开源模型一分难求!上海AI Lab新基准直击文生图模型痛点
上海人工智能实验室等联合发布首个多学科文生图考试基准GenExam,覆盖10学科、1000题。实验显示,GPT - 4o严格评分正确率仅12.1%,开源模型接近0分,暴露出模型在专业场景的短板。
Qwen“半成品”推理模型刷下AIME满分,俘获大批国外开发者!实测碾压GPT-5 Thinking、还能写侦探小说
阿里发布 Qwen3-Max-Thinking 早期预览版,虽是‘半成品’,在数学推理竞赛中达 100% 正确率。Qwen3-Max-Preview 多项测试领先,速度超 ChatGPT,还成 AnyCoder 默认选项,但未开源。实测表现有优有劣。
什么都不做就能得分?智能体基准测试出现大问题
随着AI智能体走向实际应用,其基准测试变得至关重要。但现有基准测试问题多,如WebArena判错答案、τ - bench给无操作智能体高正确率。文章提出有效性判据和ABC清单,还揭示主流基准测试诸多问题。
Qwen 3-235B Aider编程能力击败Claude3.7,成本便宜百倍
Qwen3-235B-A22B在Aider多语言编码基准初步测试中击败Sonnet 3.7 Thinking和OpenAI o1,成本便宜150到600倍。Qwen3-32B准确率超GPT-4.5和GPT-4o ,代码编辑格式正确率达100%。
我用DeepSeek治好了20年老鼻炎
作者患20年鼻炎,此前治疗效果不佳,用DeepSeek获推荐喷剂,使用后症状改善。还提及AI造影辅助医疗、国外巨头推AI医生等,显示AI医疗兴起,解决了过去落地和商业化难题。