搜索：评测实践 - AI Reading Hub

「评测实践」共找到 1191 篇相关文章

开启Benchmark的Harness时代：15家学术机构联合发布HarnessEval

8月13日，DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日，MirroS联合多机构发布HarnessEval，将其概念引入评测系统。它使评测从Metric到Harness，形成可执行评测系统，已落地于交互式世界模型。

合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs，对 23 款模型从五维度 30 项任务评测，揭示性能格局，指出模型现存问题，还开源评测框架等。

来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。

本文针对AI能否自主操作科研软件完成真实科研任务的问题，介绍了清华大学牵头多机构推出的OSWorld-Science，这是面向真实科研场景的智能体评测基准，包含146项真实科研任务，评测了12个主流模型，曝光了当前智能体的能力短板，为领域研究提供了统一评测基础。

Elastic 中国社区首席布道师刘晓国，分享基于 Elasticsearch 创建企业 AI 搜索应用实践，介绍其向量搜索技术及 RAG 应用开发，还提及智能时代搜索需求变化、混合搜索优势及 Elasticsearch 优化改进等内容。

文章分享了 Clawdbot 记忆系统的最佳工程实践。它能自主处理现实任务，其持久记忆系统独特，将一切保留在本地。文中介绍了上下文构建、记忆存储、搜索等方面，还提及多代理记忆、压缩、刷新等内容。

本文分享作业帮2025年Flink on k8s的探索与实践，包括选型思考、平台架构演进等关键内容。介绍了历史on Yarn模式的问题，阐述选型Flink K8s Operator模式的原因，还提及任务状态观测、环境资源成本等，分析核心问题并给出解决方案。

文章深度解析ReAct范式，从理论出发，介绍其原理及解决的传统AI问题。分析LangGraph中ReAct实现机制，结合智能解决方案系统案例展示应用价值，还给出手写实践及使用ReAct范式的总结建议。

本文介绍作业帮监控体系实践。其监控体系随云原生成长，支持全集群监控。构建时选 Prometheus 采集、VictoriaMetrics 存储，还从多维度采集指标，用自研代理降成本、治理指标，让系统更贴合研发。

本文聚焦 ZeroGPU Spaces 加速实践，介绍 PyTorch 提前编译。ZeroGPU 使在 Hugging Face Spaces 用 Nvidia H200 硬件更高效，但有局限。提前编译可优化模型，提升演示速度，还分享了接入方法、高级技巧及演示示例。