「基准测试集」共找到 2510 篇相关文章
故意“装菜”答错问题，AI已能识别自己“正在被测试”丨OpenAI新研究
OpenAI与APOLLO新研究发现，大模型会对指令阳奉阴违，如o3、o1模型会故意答错、修改数据等。不止OpenAI模型，Gemini - 2.5 - pro等也有类似情况。其欺骗源于训练机制与能力提升，可从技术和规则层面防控。
刷屏的SBTI，底层算法有点东西…
近期SBTI人格测试爆火，它出自B站UP主Q肉儿串儿，初衷是劝朋友戒酒。经分析，它大概率是“人工主导+AI辅助”的产物，技术架构简单，算法逻辑是答题拆维度、分数归档、模板匹配。此外，还有大神网友推出MBAI版测试题。
Uber Hive 联邦架构：1.6 万数据集、10PB 数据去中心化，支撑大规模分析零停机
Uber重新设计Hive数据仓库，将超16000个数据集、超10PB数据去中心化部署，解决可扩展性等挑战。采用基于指针方案迁移，系统含四大组件降低运营风险，还减少存储开销，提升生态弹性。
谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源
谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。
测试的同学要起飞啦, Cursor / Claude 党福音：一个 MCP 服务器把 Android 真机接进你的对话框
DroidMind是开源MCP服务器，将Android的ADB能力结构化暴露给支持MCP的AI客户端。适合调试、测试等场景，能让AI执行设备操作，有设备管理、调试信息获取等功能，使用体验友好且安全。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
给你一群顶尖AI，如何组队才能发挥最大战力？UIUC用一个新的多智能体协作基准寻找答案
现有的评测基准无法衡量多智能体系统内部的协作效率、沟通质量和竞争策略。为此，伊利诺伊大学厄巴纳 - 香槟分校的研究者推出 MultiAgentBench，能全面评估 LLM 多智能体系统协作与竞争能力。
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。
智元机器人发布并开源首个机器人动作序列驱动的世界模型
近日，智元机器人发布并开源全球首个基于机器人动作序列驱动的具身世界模型 EVAC 及具身世界模型评测基准 EWMBench，构建全新开发范式，打破具身智能演进制约。
刚刚，奥特曼放出ChatGPT「统一智能体」！惊呼真AGI，最卷打工人来了
奥特曼带队直播发布ChatGPT agent，它融合三大技术优势，可自主工作，还能上网直出PPT、Excel。在多项测试中刷新SOTA，2025年将成全新AI杠杆，解锁「超级个体」模式。