「数据与评测基础设施」共找到 3249 篇相关文章
Anthropic：警惕评测排行榜！差别可能只是机器的内存更大，而已
Anthropic发工程博客指出，AI编程评测排行榜上排名前列的模型分差小，而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同，资源配置影响评测结果，排行榜分数差距或因硬件。
Legora、Mercor 都在用，Reducto 能成为独立的 LLM 数据入口吗？
当前企业AI落地瓶颈在数据质量，Reducto聚焦数据准确性，以文档解析API提供Agentic OCR能力。它获多轮融资，估值达6亿美元，但面临多模态模型竞争及定价等问题，其未来走向待察。
科研数据不再碎片化！一张可计算图，连起整个科研世界
UIUC研究团队打造ResearchArcade，将ArXiv论文、OpenReview评审等碎片数据连接成动态知识图谱。它有多源、多模态等特征，支持多种格式数据导入导出，定义了六个任务，验证了图结构在科研数据处理中的作用。
让AI评测AI：构建智能客服的自动化运营Agent体系
文章介绍智能客服发展，从传统机器人客服到基于AI原生的智能客服。重点探讨对话效果评测，搭建运营Agent平台，实现服务闭环。还提及评测落地方法、难题及解决措施，最后阐述AI在服务链路提效和分析转人工原因的作用。
超越VLA与世界模型，银河通用发布LDA，全谱系数据跑通Scaling Law
近期具身智能领域竞争激烈，银河通用联合多机构发布 LDA-1B 模型，能统一利用各类具身数据。它在基准测试中表现出色，代码已开源，还解决了数据格式、质量等问题，实战效果也很突出。
从3632个漏洞看AI时代的评测基准重构！VulnGym基准发布
随着新一代漏洞检测工具出现，漏洞检测走向理解业务风险。腾讯悟空安全团队联合多机构发布 VulnGym 评测基准，基于真实漏洞构建，覆盖 400+ 漏洞路径，71.2% 为业务逻辑漏洞，支持确定性评测。
We-Math 2.0：全新多模态数学推理数据集 × 首个综合数学知识体系
北京邮电大学、腾讯微信、清华大学团队提出We - Math 2.0，含知识体系、数据集及训练策略，可提升模型数学推理泛化能力。该成果在X上获关注，登Huggingface Paper日榜第一。
二元成功率已经过时！PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。
华人团队终结Token危机：扩散模型数据潜力超自回归三倍
最新研究发现，token数量受限下，扩散语言模型数据潜力超自回归模型三倍多。一个1B参数的扩散模型用1B tokens训练，在基准测试取得不错准确率，且未现性能饱和。
刘壮陈丹琦新作：开源通用视觉推理RL框架，0思考数据刷新SOTA
普林斯顿刘壮团队、陈丹琦参与推出开源通用视觉推理RL框架Vero。它构建的视觉推理器在30多项测试达8B视觉语言模型SOTA，解决了开源RL方案的问题，所有数据、代码、模型均已开源。