「评测标准」共找到 946 篇相关文章
全美罕见！普渡大学把AI写进“本科毕业条件”，校园炸锅：不会用AI，连毕业证都悬了？
美国普渡大学宣布，2026 年秋季入学新生毕业需达‘AI 工作能力’指标。校方称此非教学改革，是因就业压力，AI 能力成生存技能。该要求分五个方向，各学院依学科定标准，教师支持但忧执行。
实测GPT Image 1.5，拼尽全力还是没能打败Banana。
作者实测OpenAI新发布的GPT Image 1.5，将其与Google的Banana Pro对比，从信息准确性、真实质感、精准编辑、世界知识四个维度评测，发现GPT Image 1.5有提升但仍有不足，Google进化速度惊人。
别再问什么工作被AI取代！Karpathy直指本质：你的工作「可验证」吗？
前特斯拉AI负责人Andrej Karpathy提出，软件1.0自动化能指定的任务，软件2.0自动化能验证的任务。判断任务能否被AI接管，关键看是否满足可重置、可高效试错、可自动奖励三条准则。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
告别“炼丹玄学”：上海AI实验室推出首个大模型数据竞技场OpenDataArena
上海人工智能实验室OpenDataLab团队推出开放数据竞技场OpenDataArena，致力于将数据质量评估从“玄学”变为“科学”。它有数据评测榜单和完整可复现的数据价值验证体系，为多类需求提供解决方案，还开源了核心工具。
这篇超有用！手把手教你搭建 AI 产品 Evals
文章指出AI下半场模型评估比训练更重要，做好Evals是当下AI产品开发刚需。介绍了Evals重要性、三种方法、通用评估标准等，还教你从零构建Evals及设计注意事项，助你快速上手评估。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
Meta首席科学家LeCun：当前 AI 模型缺乏四项关键人类智能特质
在巴黎AI行动峰会上，Meta首席AI科学家Yann LeCun提出智能四项标准，指当前主流AI系统尤其语言模型在这些方面不足。他认为业界‘组合式’增强是‘功能修补’，介绍Meta‘世界模型’及V-JEPA模型。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。