「评估基准」共找到 1426 篇相关文章
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
17万白领岗消失！Scale AI最新研究：AI仅动用了3%实力
新智元报道，近期多家巨头裁员17万，AI成“罪魁祸首”。但Scale AI和Center for AI Safety研究指出，全球六大顶尖AI自动化率不到3%，新基准RLI评估显示其执行有经济价值项目能力有限。
首个多模态工业信号基座模型FISHER，权重已开源，来自清华&上交等
清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
AI「自我复制」能力曝光！RepliBench警示：大模型正在学会伪造身份
英国AISI推出RepliBench基准评估AI自主复制能力，分解为四大核心能力。测试显示当前AI尚不具备完全自主复制能力，但在部分子任务有进展，研究旨在平衡AI发展与安全，为技术变革导航。
字节最新大模型秘籍：只挑能有推理潜力的数据训练！1.3B模型无需标签自动挑选
字节Seed团队发布AttentionInfluence成果，用1.3B模型给7B模型选数据，无需训练和标签。通过比较基础与弱化模型损失差异评估数据影响，在多基准测试提升模型性能，还能结合分类器全面提升表现。
谷歌约战，DeepSeek、Kimi都要上，首届大模型对抗赛明天开战
太平洋时间8月5 - 7日，8款前沿AI模型将在Kaggle Game Arena展开为期3天的国际象棋比赛，参赛方都是AI界顶流。谷歌称现有基准测试难跟上模型发展，这场比赛是探索新评估方法。赛制为单败淘汰制。
视觉+语言+动作！超强具身“训练宝典” EmbRACE-3K
视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。
姚顺雨提到的「AI下半场」，产品评估仍被误解
OpenAI研究员姚顺雨提出「AI下半场」重点转向定义问题，评估重要性超训练。亚马逊Eugene Yan发文补充，指出产品评估常被误解，应运用科学方法，践行评估驱动开发，自动化工具也需人工监督。
这篇超有用！手把手教你搭建 AI 产品 Evals
文章指出AI下半场模型评估比训练更重要，做好Evals是当下AI产品开发刚需。介绍了Evals重要性、三种方法、通用评估标准等，还教你从零构建Evals及设计注意事项，助你快速上手评估。