「测试套件规模」共找到 2140 篇相关文章
AI能否独立开展科研?ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试,由多机构联合开发。它能测试AI通用智能、创新性和执行力,通过信息梯度设计,让模型在不同指导量下完成科研任务,结果显示当前AI离自主科研有明显距离。
Memento-Skills VS OpenClaw 不改模型也能进化
Memento - Skills让AI Agent自己设计自己,通过部署时学习进化,不动模型参数,将经验写进技能库。经测试,在HLE和GAIA基准测试中准确率大幅提升,与OpenClaw等定位不同,有多种部署方式,不绑定模型。
国产AI高考708分,这款模型靠什么成为「屏蔽生」?
高考放榜,媒体对国内外大模型进行测试。综合成绩上,讯飞星火X2物理、历史类表现优异;单科专项中,它在数学、作文等测试也领先。其优势源于数据积累、理解评判标准,还采取软硬件一体化落地路径。
BeyondSWE:AI编程80分是真的强,还是考卷太简单?
前沿模型在SWE - bench Verified测试中得分超80%,但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测,规模是前者18倍,模型得分全跌破45%。还提出SearchSWE框架,结果显示搜索与编码能力融合待提升。
国内首套:港中文团队发布7模态人体动作数据集,揭开大模型理解能力短板
港中文邢国良教授团队博士生蒋思阳完成 CUHK-X 多模态人体动作数据集,成果被 ACM MobiSys 2026 接收。用其测试主流大模型,发现理解人类动作平均正确率仅四成。该数据集数据收集方法反常规,还开展了基准测试。
本地LLM万字救场指南来了!全网超全AI实测:4卡狂飙70B大模型
文章围绕本地大语言模型(LLM)展开,针对实用性和经济性问题,用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等,给出不同配置下性能指标及使用建议,还模拟真实场景测试。
DeepSeek识图模式是个新模型?!一手实测在此(没错我被灰度到了)
作者喜提DeepSeek识图模式灰度测试,实测发现其非思考模式速度快,推理有幻觉;思考模式推理慢且冗长。实用功能如OCR、复原HTML较靠谱,但色盲测试偶翻车。该模式或用独立视觉模型,且多模态进展超预期。
10万引普林斯顿刘壮最新访谈:架构没那么重要,数据才是王道
普林斯顿大学助理教授刘壮在访谈中指出,架构没那么重要,数据、规模和记忆才是决定AI成败的关键。他认为ConvNet和Transformer性能差异源于训练细节;当前数据集远不够多样;大语言模型有语言空间的世界模型,但视觉空间的还缺失;记忆是瓶颈,智能体只是权宜之计;AI目前还替代不了研究生。
Anthropic更新了Skill Creator,评测框架上线
Anthropic更新Skill Creator,上线评测框架。该框架无需写代码,能处理两类技能测试需求,可测试和改进技能,有捕获质量回归等用途。还增加基准模式、多Agent支持等,能让技能触发更可靠,更新已在Claude.ai等可用。
Claude时代终结?LMArena实测DeepSeek R1编程得分超Opus 4,但月暗称其新模型更胜一筹
在闭源模型主导的AI环境下,开源的DeepSeek - R1(0528)在LMArena测试中表现亮眼,编程得分超Claude Opus 4,引发社区关注与讨论。不过LMArena曾被指责偏袒,其联合创始人反驳。此外,月之暗面新模型Kimi - Dev - 72B编程成绩超R1。