「工业基准」共找到 1053 篇相关文章
专业医生远不如AI模型？OpenAI推出医疗开源测试基准HealthBench，o3表现最强
OpenAI推出医疗开源测试基准HealthBench，由262位多国医生合作打造，含5000段真实健康对话。评估显示o3综合表现最佳，顶尖AI处理任务能力超无辅助医生，HealthBench更真实专业有区分度，但也有局限。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
ICCV 2025 | SeaS: 工业异常生成+正常合成+精准掩码大一统框架，指标全面碾压SOTA
华中科技大学慢工团队提出少样本工业生成模型SeaS，依托U-Net，只需1 - 3张训练样本，单模型同步实现多样异常生成、正常产品合成及精确异常掩码标注，突破现有方法局限，在主流数据集上超越SOTA。
GPT-5仅23.3%，全球AI集体挂科！地狱级编程考试，夺金神话破灭
最新基准测试SWE-Bench Pro评估AI编程智能体，直面真实企业级工程任务。顶尖模型几乎溃败，GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题，能成未来LLM编码能力标尺。
Stripe 发布基准测试：AI 智能体可开发集成方案，但校验环节存在短板
Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
火了！刚刚，李飞飞2篇最新文章发布！
AI圈近期被李飞飞两篇重磅文章刷屏，一篇阐述空间智能愿景，指出当前AI缺乏空间智能，其创办的World Labs提出世界模型；另一篇论文揭示当前视频理解基准自欺欺人，还提出新基准VSI - SUPER及预测性感知新范式。
定义RAG新基准？谷歌发布 Gemini Embedding 2：首个原生多模态嵌入模型，延迟骤降70%
谷歌昨夜推出首个基于 Gemini 架构的原生多模态嵌入模型 Gemini Embedding 2，通过 Gemini API 和 Vertex AI 向开发者公开预览。它可将多类型数据映射到统一嵌入空间，多项基测排名第一，还获早期合作伙伴高度评价。
AI点外卖哪家强，美团LongCat团队做了个全面评测
美团LongCat团队发布贴近生活场景的大模型智能体评测基准VitaBench，以三大高频生活场景为载体，构建含66个工具的评测环境。评测显示现有智能体与应用需求差距大，该基准已全面开源。
GPT-5基准测试泄露，被曝两天后发布？打Minecraft震撼开挂网友直呼封神
GPT - 5消息不断，泄露的基准测试及Minecraft实测惊艳网友。有爆料称7月31日发布，也有消息指8月。它或统一o与GPT系列，编码能力强，能处理复杂编程任务，不过也引发对其影响的担忧。