搜索：基准构建 - AI Reading Hub

「基准构建」共找到 2637 篇相关文章

AI的记忆问题解决了！最强记忆基准99%的准确率

Supermemory团队构建的实验性AI智能体流程，在LongMemEval基准测试中达近99%准确率。其技术摆脱传统限制，以新方式处理信息。ASMR创新数据摄取和检索管道，有两种回答流程，团队计划开源代码。

新推出的PRBench基准可测AI在金融和法律领域表现。它有19356条专家评估准则，是该领域最大公开基准。顶尖大模型在困难子集得分低，还独创经济路径分析维度，约30%任务为多轮对话，揭示了AI在专业领域的不足。

蚂蚁研究人员提出代码检索与重排评测基准CoREB，解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB，收录19个模型×6个任务评测结果，为代码检索模型评估提供新基线。

字节跳动发布全球首个实时未来预测基准测试FutureX，杜绝模型作弊。在25个模型评测中，Grok - 4夺冠。它从多网站构建问题，分四级难度。人类专家在部分等级仍领先AI 。

现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

OpenAI发布的《构建AI智能体实用指南》，阐述智能体定义、适用场景，介绍构建的核心组件、架构编排，强调安全保障，指出构建需多方要素配合，未来聚焦智能体生态系统。

长期以来主流代码修复评测基准SWE - bench问题多，制约AI模型能力展现。微软发布SWE - bench - Live，引入新Issue，实现环境自动化构建与更新，打破传统局限，还揭示传统基准过拟合问题。

LLM智能体进化为“行动派”，但自主权带来安全问题。现有评估基准缺乏有效精准评估器，研究者推出AgentAuditor框架及ASSEBench基准，让LLM评估器精确度达人类水平，为构建可靠智能体提供工具。

近日，RoboChallenge推出全球首个大规模、多任务真机基准测试。它构建开放、公正、可复现的‘真实考场’，为视觉 - 语言 - 动作模型提供评估标准，推动具身智能发展，还提供远程测试服务等。