「基准测试集」共找到 2508 篇相关文章
深入感知级别图像理解：UniPercept 统一图像美学、质量与结构纹理感知
多模态大语言模型在语义级任务表现卓越，但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept，构建感知属性定义系统与基准测试集，训练强基准模型，在多方面表现超现有顶尖模型，应用潜力大。
Claude最强领域被GPT反超！GPT 5.5最难编程基准破0
编程领域曾由Claude引领，如今GPT 5.5在大模型解决率为0%的最难编程基准上实现突破。程序重建基准测试（ProgramBench）考验严苛，过往模型解决率为0，GPT 5.5高和超高推理模式成功破局，展现了不同解题风格。
The Batch：836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。
谷歌Gemini 3杀疯了！陶哲轩亲测：10分钟干翻百年数学难题
Gemini 3本周一发布后开启横扫基准测试之旅。在FrontierMath基准测试创纪录，Epoch能力指数超GPT - 5.1。陶哲轩用Gemini Deepthink十分钟解决埃尔德什问题关键证明，同时它还霸榜物理基准测试CritPt。
GPT-6 Astra发布，多个基准测试接近满分，“欢迎来到AGI时代”？
当地时间9月3日，OpenAI发布GPT-6 Astra，称其为“最智能、最对齐”的模型。它在多测试表现逆天，能力提升显著，还加入新特性。不过价格更高，也带来安全问题。
专业医生远不如AI模型？OpenAI推出医疗开源测试基准HealthBench，o3表现最强
OpenAI推出医疗开源测试基准HealthBench，由262位多国医生合作打造，含5000段真实健康对话。评估显示o3综合表现最佳，顶尖AI处理任务能力超无辅助医生，HealthBench更真实专业有区分度，但也有局限。
首个测试时共进化合成框架TTCS：在「左右互搏」中突破推理瓶颈
厦门大学DeepLIT课题组提出全新测试时课程合成框架TTCS，不依赖外部标注，通过生成器与求解器共进化博弈合成课程数据，解决测试样本过难导致的训练坍塌问题，实验显示其推理能力提升显著。
GPT-5得分不到0.4！法律+金融最大规模基准：1.9万+专家评估准则
新推出的PRBench基准可测AI在金融和法律领域表现。它有19356条专家评估准则，是该领域最大公开基准。顶尖大模型在困难子集得分低，还独创经济路径分析维度，约30%任务为多轮对话，揭示了AI在专业领域的不足。
性能飙升42%！人大&字节开源10万级 SWE数据集 Scale-SWE
近期，人大和字节开源10万级软件工程数据集Scale - SWE，用首创工作流从GitHub构建真实数据。基于此微调的Qwen3 - 30A3B - Instruct模型测试表现佳，其数据相比合成数据优势明显。
GPT-5基准测试泄露，被曝两天后发布？打Minecraft震撼开挂网友直呼封神
GPT - 5消息不断，泄露的基准测试及Minecraft实测惊艳网友。有爆料称7月31日发布，也有消息指8月。它或统一o与GPT系列，编码能力强，能处理复杂编程任务，不过也引发对其影响的担忧。