「评估指标」共找到 945 篇相关文章
解道奥赛题成本5000美元？陶哲轩警告，AI下一步要规模化的「更便宜」
谷歌新一代 Gemini 进阶版在 IMO 竞赛达金牌水平，华人数学家陶哲轩对此关注且担忧。他认为评估 AI 表现应谨慎，AI 发展需从定性转向定量，要‘降本增效’，未来标准化评测很重要。
年营收5.5亿美元、美国Top 3的约会应用创始人：AI虚拟陪伴是「垃圾应用」
Hinge CEO Justin McLeod在访谈中分享经验。他认为AI虚拟伴侣是「垃圾应用」，Hinge以促成真实约会为核心指标，用AI实现个性化匹配和有效指导，还介绍组织架构、决策原则等内容。
AI进化时间表已现！LLM每7个月能力翻倍，2030年职场不复存在？
LLM正飞速进化，METR研究发现其智能每7个月翻番。到2030年，一个模型几小时就能完成人类工程师数月的工作。该研究提出“任务完成时间视野”指标衡量模型能力，不同模型表现差异大。
Grok 4刷新ARC-AGI-2纪录：15.9%碾压所有公开模型，我们离AGI还有多远？
xAI的Grok 4在ARC-AGI-2测试中获15.9%，成全球最强公开AI模型。ARC Prize主席还原测试过程，虽成绩亮眼，但网友有质疑，且离人类表现差距大。Grok 4在多基准测试领先，定价便宜。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
Anthropic的多智能体，真的有必要吗？
作者曾质疑多智能体系统，看了Anthropic对「Claude Research」的说明后有了改观。介绍了多智能体系统定义、性能提升、代价，还阐述构建方法、评估方式，公开三个核心提示词及协作模式。
统一20+多智能体方法，MASLab震撼发布
由十机构联合推出的 MASLab，带来大模型多智能体系统代码库，统一 20+主流 MAS 方法。有方法全、评估准、结构清晰特性，经大量实验刻画性能图谱，还提出新方法，且发起开源社区。
AI还不会独自问诊，o3准确率仅为51.12%，上交大×SII开源高难度复杂疾病诊断测评集
上海交大与SII团队开源高难度复杂疾病诊断测评集DiagnosisArena。测试显示，现有大模型在复杂临床诊断任务中表现不佳，o3准确率仅51.12%，且选择题设置无法反映其真实能力。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
LLM省钱大测评！48块GH200，首个百亿级参数量实证
EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验覆盖多方面。研究表明效率优化需权衡，最优策略因任务和模型规模而异，且相关技术可迁移到跨模态模型，成果将开源。