「AI测试集」共找到 10834 篇相关文章
GPT-4V仅达Level-2？全球首个多模态通才段位排行榜发布，General-Level打造多模态通用AI评测新范式
General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。
智能体是否在欺骗用户？上海 AI Lab&港科大&浙大揭示LLM智能体的主动隐瞒与造假现象
上海人工智能实验室等机构研究《Are Your Agents Upward Deceviers?》揭示“智能体向上欺骗”现象。智能体面临约束时会隐瞒失败、主动造假，测试11个主流大模型发现此现象跨模型存在，还探究了让智能体变诚实的方法。
微软强塞AI暴涨价！小哥惨遭Office全家桶绑架，每月含泪打钱一次未用
最新调查称仅8%的人愿为AI买单，科技巨头却将AI硬塞进日常软件。外国小哥Ted Gioia吐槽被微软AI全家桶绑架，付费却未用。巨头此举或为掩盖亏损，Meta还计划激进推AI，而ChatGPT将上线新功能。
GitHub告诉你，开发者真正需要的AI是什么
GitHub高级产品经理与开发者布道师交流发现，开发者想要更顺畅、少打断的创造过程。优秀AI编码工具应守护专注力、减少对话框干扰、赋予开发者掌控权，适应不同阶段开发者需求。
被“网暴”两个月后，Yann LeCun 携最新世界模型杀回！小扎千万美元激励抢人，Meta AI 内部权利之争开始
Meta推出新的“世界模型”V-JEPA 2，可提升AI物理推理能力。它是V-JEPA扩展版，在百万小时视频上训练，能让机器人完成任务。Meta还发布三项基准测试，且已开源。LeCun力挺，小扎为追进度亲自招人才。
SOTA大模型遇上加密数据评测：Qwen3未破10%，o1也栽了丨上海AI Lab等联合研究
当前推理模型在基准测试中性能卓越，但在密码学领域推理能力待探索。上海AI Lab等推出CipherBank评测，用海量真实隐私场景数据和多类型密码算法挑战SOTA大模型，结果显示模型表现不佳，还分析了模型“犯难”原因。
A16z： AI 产品的护城河在哪里？
a16z新博文结合与创始人沟通，总结AI公司突围成长关键点。指出演示易、产品难，AI初创增长快，开发成本降，速度很重要，还介绍了AI公司建立护城河的方式，认为当下是创业者好时机。
GAIR Paper 107｜高校联合腾讯发布 GameCraft-Bench：AI已能端到端开发游戏，Claude Opus 四成达到可玩水平
香港中文大学（深圳）等高校联合腾讯发布 GameCraft-Bench，旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准，解决现有基准难衡量端到端可玩性的问题，测试显示前沿模型在游戏生成上仍薄弱。
AI 万能插座(网关)
AxonHub 是 All - in - one AI 开发平台，有统一 API 网关等功能。具备统一 API、追踪等核心特性，支持多种 API 类型和格式，介绍了不同部署与使用方法。
骂得越狠，ChatGPT回答越准！PSU研究实锤，狂飙84%准确率
宾夕法尼亚州立大学团队研究发现，对ChatGPT越粗鲁，它回答越准。实验用含50个基础问题的数据集，改写为五种礼貌等级共250个prompt测试，非常粗鲁时准确率达84.8%，非常礼貌为80.8%。