「测试评估集」共找到 2678 篇相关文章
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
Claude Opus 4.7发布！这是你在别的公众号看不到的五个发现
Anthropic发布Claude Opus 4.7，编码和视觉能力提升，但长上下文能力下降。其231页的System Card藏着不少有趣发现，如Opus 4.7非最强模型、Claude知道被测试、模型审查自身评估等。
「一只手有几根手指」，你的GPT-5答对了吗？
CMU博士生Tairan He测试发现GPT - 5答错‘一只手有几根手指’问题，指出语言难满足视觉与机器人领域需求，需VLM和VLA模型。编辑部测试发现顶尖大模型面对常识问题也会‘翻车’，还探讨了应对方法。
RLinf上新πRL：在线强化学习微调π0和π0.5
近年来，基于流匹配的VLA模型成机器人领域前沿技术，但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL，提出两种微调方案，在测试平台验证了有效性，目前代码等已开源。
Agent RL和智能体自我进化的关键一步: TaskCraft实现复杂智能体任务的自动生成
当前智能体训练缺高质量任务数据，主流数据集依赖人工标注，规模和复杂性受限。OPPO 研究院提出 TaskCraft 框架，能自动生成智能体任务，构建并开源含约 41,000 条任务的数据集，支撑智能体训练评估。
清华发布世界模型评测新标尺：直击机器人感知与行动鸿沟
清华大学等机构推出 WorldArena 评测基准，用于测试 EWM 真实能力。它融合感知与功能评估，含十六项视频指标，结合主客观评价生成 EWMScore。测试揭示模型在感知与行动上的差距，转型为实用型模型是行业挑战。
终结数据荒！智源开源首个Deep Research数据合成框架InfoSeek
在大模型深度研究中，高质量数据是短板。近日，智源研究院发布首个面向深度研究的开源数据集InfoSeek，提出「扩散 - 回溯」数据合成方法，用3B模型在基准测试中接近商业模型表现，且数据集可扩容。
CVPR2025 | 多模态LLM评测Tutorial
多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。
OpenAI、Anthropic、DeepMind联手发文：现有LLM安全防御不堪一击
OpenAI、Anthropic、Google DeepMind 联手发文，研究语言模型安全防御评估。指出现有防御评估有缺陷，提出通用自适应攻击框架，成功绕过 12 种防御机制，多数攻击成功率超 90%。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。