「基准测试集」共找到 2438 篇相关文章
浙大联手字节：开源大规模指令跟随视频编辑数据集OpenVE-3M
浙江大学与字节跳动合作，提出大规模指令跟随视频编辑数据集 OpenVE-3M，有 3M 样本对。还提出数据构造管线、编辑模型 OpenVE-Edit 及评测集 OpenVE-Bench，小参数量下超越现有开源模型。
SnapMoGen：44 小时动作数据 + 12 万文本注释，文本驱动动作生成数据集
近年来文本驱动动作生成有进展，但受限于数据集质量。Snap团队提出SnapMoGen数据集和MoMask++模型。前者有2万条动作片段和12.2万条文本描述，后者建模更有效，还结合LLM提升适用性，但二者都有局限。
AI 写代码太快，人类测试跟不上了，Meta 用新方法把 bug 检出率提升 4 倍
Meta 用即时（JiT）测试方法提升软件质量，该方法在代码评审期间动态生成测试，在 AI 辅助开发环境中将缺陷检测能力提升约 4 倍，源于代理式工作流兴起及传统测试套件的局限。
流式数据集：效率提升 100 倍！
现在只需一行代码，就能通过 `load_dataset('dataset', streaming=True)` 以流式方式加载数据集，无需下载。Hugging Face 优化后端，提升流式数据集速度与效率，减少请求、提升解析速度，还优化启动和流式加载阶段。
OpenAI即日起测试给ChatGPT用户加广告
OpenAI今日起在美国对已登录成年Free和Go订阅层级用户测试ChatGPT广告功能。广告不影响回答内容，目的是为免费及低价服务提供资金。有不看广告的办法，广告匹配有规则，隐私有保障，此次测试为收集反馈。
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
吴恩达：AI编程加速开发也埋下大坑，软件测试空前重要
吴恩达认为AI编程虽加速开发，但Agentic编码系统不可靠，会引入漏洞、删除代码等。他给出核心解法，利用Agentic测试，优先测后端和底层架构，还明确测试优先级，前端低、后端高。
Agent搜索哪家强？人大高瓴&快手联合发布全新评测基准GISA
人大高瓴与快手联合发布全新评测基准GISA，用于评估智能体搜索能力。它解决了现有基准反向构造、评估维度单一、答案易被记忆等问题，含373个高质量查询，实验显示当前搜索智能体距人类水平差距大。
AI看不懂的色盲测试背后，藏着一场像素与诗意的战争。
作者和同事测试AI色盲测试图，多模态模型Gemini 3 Pro、Claude Opus 4.5等纷纷答错，仅GPT 5.2 Thinking答对且靠代码作弊。研究发现，AI看图断章取义，缺乏人类的“格式塔”能力。