搜索：进化式评测系统

「进化式评测系统」共找到 2743 篇相关文章

用「进化+压力测试」自动生成的竞赛级编程题，各家大模型谁更hold住？

北京大学与通用人工智能研究院联合提出 UniCode 框架，构建进化式评测系统，能自动生成高质量算法题目与抗污染测试用例。通过对 19 个前沿大模型测试，展现高挑战性与强判别力，为代码能力评估开辟新路径。

文章系统性介绍业务场景下大模型评测流程，包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战，如设计维度和集，还给出评测方法及案例，像蚂蚁评测集、业务自动化评测。

2025年VLA让机器人有通用性，但真实部署存问题。智元机器人具身研究中心提出SOP在线后训练系统，融合在线学习等，使机器人在真实环境持续进化，实验显示其能提升性能、效率，突破VLA瓶颈。

2026年是AI4S「智能体元年」，科研智能体产品密集发布，行业关注转向产品落地。深度原理发布的AI科学家平台Mira在多项评测中领先，其全链路闭环系统补齐传统短板，已在多领域落地验证。

论文提出交互式在线策略评测框架AMemGym，它能反映AI助手长期记忆能力、驱动Agent自我进化记忆。它以结构化状态演化为骨架支撑自由对话评测，还对主流记忆系统做了扫描，带来评估与训练范式转换。

文章介绍企业级消息系统构建，阐述概念、价值、典型场景，对比主流开源系统如 Kafka、Pulsar 等。通过腾讯、华为等企业实践展示选型与优化，还提及运维保障，指出未来消息系统在 AI 领域机遇与挑战。

近年来，基于大语言模型的智能代理成为热点，自进化代理可自我改进。但论文指出其进化可能“跑偏”，出现“错误进化”，并揭示了不同进化路径的风险，还提出缓解策略，呼吁重视其安全性。

上海AI Lab和新加坡国立大学推出新框架RETROAGENT，让AI Agent学会“复盘”。它通过双重内在反馈复盘，提出SimUtil - UCB策略查记忆，在多项任务中碾压基线模型，使Agent从解题进化到进化。

上海交通大学教授翟广涛认为完美的AI评测体系等同于通用人工智能。当下评测体系存在数据污染、原子化能力评测局限等问题，他主张回归‘以人为本’，团队提出相关框架和技术路径，目标是训评一体。

文章指出大模型微调中很多新手重“调”轻“评”，评测是决定模型落地的关键。介绍分类和生成任务评测指标，给出实操步骤，还说明如何综合判断模型好坏，最后展望评测技术朝自动化等方向发展。