「标准化评测」共找到 702 篇相关文章
告别“炼丹玄学”：上海AI实验室推出首个大模型数据竞技场OpenDataArena
上海人工智能实验室OpenDataLab团队推出开放数据竞技场OpenDataArena，致力于将数据质量评估从“玄学”变为“科学”。它有数据评测榜单和完整可复现的数据价值验证体系，为多类需求提供解决方案，还开源了核心工具。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。
对话港理工吕佳欣：如何将一项实验室成果变成一条6500吨级的生产线？
文章是对港理工吕佳欣的访谈，围绕多筒挤压技术展开，探讨从实验室到产业化的过程、挑战及应对方法，还提及工业AI在制造领域的应用，如数据处理、经验转化等，强调科研与工程相互促进。
生成率从8%到60%：快手智能测试用例生成系统的四阶进化
快手研发效能团队构建智能用例生成系统，实现从手动编写到审核校验的模式转变。该系统历经四阶架构演进，将用例生成率从 8% 提升至 60% 以上，成为公司测试人员日常使用的标准化生产力工具。
Generalist最新长文定调：具身原生才是正道，中国玩家原力灵机已交卷
Generalist创始人Pete Florence团队释出GEN-1技术博客，否定世界模型与VLA之争，强调具身智能应回归目标，主张从零训练。中国原力灵机DM0也采用具身原生路线，在RoboChallenge评测中成绩优异。
OpenAI新模型Day0就被嫌弃！排名拉垮，不如一月底发布的国产模型
OpenAI推出GPT - 5.4 mini和nano模型，主打快速经济，针对编程等优化。但评测中GPT - 5.4 mini排名不佳，不如国产Kimi 2.5，且价格对比有争议。不过与自家旧版比有提升，网友测试有亮点。
不会拍照有招了！北大彭宇新团队开源首个美学指导大模型Venus，帮你拍好照｜CVPR 2026
北大彭宇新教授团队针对现有大模型在摄影指导上的不足，定义美学指导任务，构建数据集AesGuide，提出美学指导大模型Venus。相关论文被CVPR 2026接收并已开源，Venus在多项评测中优于现有方法。