「评测集」共找到 1125 篇相关文章
首个OpenClaw智能体宿主机性能评测报告：单机可稳定运行96路Agent实例
OpenClaw成中小企业AI利器，但企业部署面临效率、并发和安全问题。浪潮信息基于元脑x86服务器完成测试，发布评测报告，该服务器单机可稳定运行96路Agent实例，还支持一键配置、多用户隔离。
打破数据质量鸿沟！清华腾讯Bee项目发布1500万高质量数据集，刷新MLLM全栈开源SOTA
全开源多模态大模型性能被闭源和半开源模型“卡脖子”，根源在于数据质量。清华与腾讯混元团队推出Bee项目，有三大核心贡献，产出的Bee - 8B模型表现领先，证明保证数据质量比堆量更有效。
GLM-5.2真正的跨越：CritPt密闭物理数据集测试得分20.9%，打平Opus-4.8
GLM - 5.2在CritPt密闭物理数据集测试中表现亮眼，与Claude Opus 4.8得分并列，远超其他开源模型，还击败多款闭源模型，实现4.5倍代际飞跃，标志开源模型科学推理能力进步。
Uber Hive 联邦架构：1.6 万数据集、10PB 数据去中心化，支撑大规模分析零停机
Uber重新设计Hive数据仓库，将超16000个数据集、超10PB数据去中心化部署，解决可扩展性等挑战。采用基于指针方案迁移，系统含四大组件降低运营风险，还减少存储开销，提升生态弹性。
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
南大团队直击大模型高分神话：人类90分，最强模型仅49分
南京大学傅朝友团队在Google Gemini评测团队邀约下推出视频理解新基准Video - MME - v2。它有创新的分层能力体系与组级非线性评分，经超3300人工时标注。评测显示模型与人类差距大，还揭示传统Acc指标虚高、‘Thinking’并非总增益等现象。
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。
科研写作神器，超越Mathpix的科学公式提取工具已开源
LaTeX公式OCR现有方法处理真实文献面临挑战，DocTron团队提出系统性方案。构建CSFormula数据集，提出DocTron - Formula模型，在评测和实际应用中表现出色，超越Mathpix等工具。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。