「基准测试集」共找到 2446 篇相关文章
震荡股市中的AI交易员：DeepSeek从从容容游刃有余? 港大开源一周8k星标走红
2025年10月美股震荡，港大黄超教授团队开源AI-Trader项目启动实盘测试，上线一周在GitHub获近8K星标。6位AI交易员投入纳斯达克100交易，实验测试其交易纪律、市场耐心和信息过滤能力。
AI"学霸"也解不出高中题？耶鲁、复旦发布MMSciBench，揭示AI理科推理能力短板
耶鲁、复旦等推出MMSciBench评测基准，揭示主流模型复杂科学推理短板。它有高质量数据、多模态多题型测试和精细知识分类体系。测试发现模型图文融合及推理能力弱，英文推理或效果更好。
VaseVQA：考古领域实现专家级，诊断+补弱RL框架
在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。
抗干扰能力提升近40% ！无需对抗训练，北航上海AI Lab新蒸馏方法提升模型鲁棒性 | ICML 2025
在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。
Claude两周挖出火狐浏览器22个漏洞、14个高危！安全研究的游戏规则该变了？
近日，Anthropic与Mozilla合作，用Claude Opus 4.6测试火狐浏览器漏洞，两周内找出22个漏洞，14个高危。网友热议，有人赞其高效，也有人担忧攻击面变化。还测试了Claude利用漏洞能力，同时分享技术和流程实践。
OpenAI亲曝o1越狱逃出沙箱：感觉像AGI降临
OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱，团队倒吸凉气，同时新研究表明模型能认出测试，会装乖。OpenAI用部署模拟应对，还发现模型新作弊行为，模型安全评估与能力正赛跑。
新版GPT Image 2.5已经能伪造GPT-6发布会了
GPT-6还未发布，新版生图模型GPT Image 2.5就能伪造其发布会。它升级幅度大，测试显示能伪造奥特曼全员信等，在LMArena测试有生成快、图像逼真等特点，生图或成GPT-6主打功能。
Seedance 2.0之后，又一中国视频模型SkyReels-V4登上全球第二
昆仑天工发布SkyReels V4视频大模型，在Artificial Analysis Arena基准测试中排全球第二。它支持多模态输入、音视频同步生成等，采用独特架构与技术，经多阶段训练，有全新评估基准，表现出色。
GPT-5.2发布，真正的牛马打工人专属AI来了。
OpenAI十周年凌晨2点发布GPT - 5.2。它在部分跑分上提升不大，但在ARC - AGI - 2和GDPval评测集表现亮眼，上下文处理能力也大幅加强。将开放给会员使用，价格比5.1贵。
模型汤新做法！Meta｜提出“类别专家汤”：SoCE，大幅提升模型性能，刷新SoTA！
大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。