「Vending Bench测试」共找到 1800 篇相关文章
Sora 2刷屏全网：拍《瑞克和莫蒂》、过物理测试，太棒了
OpenAI推出的Sora 2刷屏海外，能完成以往视频生成模型极难实现的任务，在物理准确性、逼真度和可控性上有重大提升。它还能进行二创、模拟电脑操作等。OpenAI发布由Sora 2驱动的社交APP，强调促进创作，保障安全。
Auto Research最后一块拼图，Frontier-Eng Bench登场，在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。
新型「验证码」诞生？这张图让 ChatGPT、Claude、Gemini 都翻了车
网友用光学错觉图捉弄大模型，人眼秒懂的图案让ChatGPT、Claude、Gemini等翻车。有人认为可作AI检测器，也有人质疑其测试有效性，此外还有其他好玩的小测试。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
Agent全自动搭建代码运行环境，实时更新解决评测过拟合/数据污染问题｜微软
长期以来主流代码修复评测基准SWE - bench问题多，制约AI模型能力展现。微软发布SWE - bench - Live，引入新Issue，实现环境自动化构建与更新，打破传统局限，还揭示传统基准过拟合问题。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
刚刚，GPT-6正式发布！OpenAI：欢迎来到AGI时代
OpenAI正式发布GPT - 6 Astra和GPT - 6 Astra Pro，宣布AGI时代开幕。该模型训练规模大，能力升级显著，价格公布。基准测试成绩优异，在多方面表现突出，还展示诸多实际应用案例，已有企业开始测试。
不让“猪队友”拖后腿！哈深新作 AgentDropoutV2，专治多智能体“传话游戏”翻车现场
多智能体系统中，常有agent出错带偏整体。哈工大联合阿里提出AgentDropoutV2，测试时介入，设‘质检员’审核输出，结合失败案例构建‘避坑指南’，在多测试中显著提效，泛化性强。
OpenAI深夜放出GPT-5狙击谷歌！基准测试碾压前代模型，价格比Claude更便宜
北京时间8月8日凌晨，OpenAI推出GPT - 5，宣称其更智能、准确，幻觉率低。还推两款新模型，介绍了不同用户套餐。它在编程基准测试表现佳，健康领域能力突出，引发各界热议。
图像编辑模型不止生成：BIGAI&上交大提出EAR范式，系统测试其视觉规划能力
上海交通大学联合北京通用人工智能研究院提出EAR范式，构建AMAZE基准，分析图像编辑模型视觉推理能力。研究发现模型零样本表现弱，扩散式模型更适合视觉规划，CoT效果不稳定等。