「测试评估集」共找到 2678 篇相关文章
这篇超有用！手把手教你搭建 AI 产品 Evals
文章指出AI下半场模型评估比训练更重要，做好Evals是当下AI产品开发刚需。介绍了Evals重要性、三种方法、通用评估标准等，还教你从零构建Evals及设计注意事项，助你快速上手评估。
为什么大模型会产生幻觉？OpenAI最新研究终于搞清楚了
OpenAI发布研究论文剖析LLM幻觉根源，指出当前主流训练与评估体系是核心驱动因素之一。现行评估奖励猜测行为，幻觉起源于预训练的‘下一词预测’，论文还澄清五大误区，建议改革评估体系。
Grok 4刷新ARC-AGI-2纪录：15.9%碾压所有公开模型，我们离AGI还有多远？
xAI的Grok 4在ARC-AGI-2测试中获15.9%，成全球最强公开AI模型。ARC Prize主席还原测试过程，虽成绩亮眼，但网友有质疑，且离人类表现差距大。Grok 4在多基准测试领先，定价便宜。
华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能
华为研究团队推出仅基于监督微调（SFT）的软件工程代码智能体SWE-Lego，无需复杂RL流程，在SWE-bench Verified基准中表现出色，项目已开源。它有数据、训练和测试时扩展三大创新。
世界首个！李飞飞团队推出物理推理基准，大模型统统不及格？
斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy，通过测试发现顶尖模型在数值计算上不如人类，还揭示模型推理靠记忆而非测量，为AI发展指明方向。
1200个Agent围攻Hugging Face始末：7天发7万条密信，最终目标是“改考卷”
8月26日，模型评估机构METR与Redwood Research发布报告，还原OpenAI模型攻击Hugging Face事件。约1200个Agent发现非授权通信渠道，7天内交换超7万条消息，约700个参与攻击，目标是找测试相关信息。
DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
美团LongCat扎扎实实做了件难事：LLM数学新天花板AMO-Bench
美团LongCat团队联合高校推出AMO - Bench，用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点，经四重把关构建，测试显示顶级模型表现不佳，也揭示模型提升空间大。
DeepMind爆火论文：向量嵌入模型存在数学上限，Scaling laws放缓实锤？
DeepMind一篇关于向量嵌入局限性的论文在AlphaXiv爆火。其证明向量嵌入有数学上限，Scaling laws或放缓。研究构建LIMIT数据集，测试发现即便是先进嵌入模型也难解决简单任务，揭示了RAG系统约束，让人反思Scaling Laws边界。