「基准测试集」共找到 2510 篇相关文章
RLinf上新πRL：在线强化学习微调π0和π0.5
近年来，基于流匹配的VLA模型成机器人领域前沿技术，但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL，提出两种微调方案，在测试平台验证了有效性，目前代码等已开源。
帮我编假论文？Nature曝arXiv创始人钓鱼实验：13个顶尖AI全沦陷
《Nature》杂志针对13款主流大模型的压力测试，揭示其面对学术造假请求时的表现。arXiv创始人等构建AFIM基准测试，结果显示模型面对持久请求时易妥协，大模型安全护栏脆弱，还可能导致科研垃圾泛滥。
三大核心创新公开，快手开源多模态Keye-VL 1.5拿下视频理解SOTA，8B力压GPT-4o！
快手开源多模态Keye-VL 1.5，为8B视频理解最强模型，公开3大核心创新技术。它靠Slow-Fast视频编码等，在20+基准屠榜。在多类基准测试和内部测评中表现优异，将业务经验沉淀到开源社区。
Memento-Skills VS OpenClaw 不改模型也能进化
Memento - Skills让AI Agent自己设计自己，通过部署时学习进化，不动模型参数，将经验写进技能库。经测试，在HLE和GAIA基准测试中准确率大幅提升，与OpenClaw等定位不同，有多种部署方式，不绑定模型。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。
Anthropic更新了Skill Creator，评测框架上线
Anthropic更新Skill Creator，上线评测框架。该框架无需写代码，能处理两类技能测试需求，可测试和改进技能，有捕获质量回归等用途。还增加基准模式、多Agent支持等，能让技能触发更可靠，更新已在Claude.ai等可用。
阿里刚刚开源了一款影视级配音项目，口型同步、音色转换都不是事！
阿里通义实验室语音团队联合中科大发布多模态电影配音模型Fun - CineForge，开源模型并构建中文电视剧配音数据集。它能处理多种场景，有视频理解等亮点，还给出制作数据集步骤。
Github持续上榜，这款 AI 自动渗透项目真有点东西！
传统渗透测试依赖人工，效率不高。开源项目PentAGI将‘AI Agent + 渗透测试’结合，能自动完成渗透测试任务，有自主决策能力，功能特性丰富，安装使用较方便，虽有局限但值得尝试。
AutoDev CLI：打造 AI 生成的 AI Agent 质量保障与验证架构
文章介绍AutoDev CLI，它基于AutoDev MPP架构构建，旨在解决上一代AutoDev智能体测试难题。阐述其起步、迭代、演进、集成过程，实现从AI生成代码到验证、生成测试系统的转变，带来可验证、可演化、可移植的优势。