「评估基准」共找到 1426 篇相关文章
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
AI自动写学术综述：10分钟生成6万字，成本不到四块钱
上海人工智能实验室等单位提出SurveyForge框架，能自动化生成高质量学术综述论文。它有双数据库协同驱动的大纲生成机制、学者导航代理SANA和并行生成与协调机制。还有SurveyBench评估框架，实验显示其效果好，应用前景广。
怎么回事？刚被OpenAI收购，Windsurf就发了个自己的模型
5月初，刚被OpenAI收购的Windsurf发布AI编程模型SWE - 1，该模型针对软件工程全流程，核心是流动感知，实现人机自然交接。它有三个系列，已上线可免费使用，开发灵感源于编辑器，在评估和实测中表现良好。
MMLU已死？「人类最后考试」登Nature：全球AI模型集体不及格！
AI发展迅猛，现有基准测试难以跟上其步伐。近1000名研究人员组成的全球联盟创建「人类最后的考试」（HLE），涵盖多领域难题，目前最强AI准确率不足50%，凸显AI与人类专家的差距。
谷歌Jeff Dean和多位图灵奖得主合著论文，全面剖析了AI
谷歌Jeff Dean和图灵奖得主John Hennessy等联合发布报告《塑造AI对数十亿人的影响》，拒绝AI极端观点，选择务实。报告剖析打破“饭碗焦虑”、重塑教育医疗等内容，Laude研究所也开展实战评估项目。
端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统
北京大学王勇涛团队提出新型自动驾驶系统 KnowVal，通过感知与知识检索模块协同实现视觉 - 语言推理。它构建驾驶知识图谱，有价值模型用于轨迹规划，实验在多基准测试表现佳，还通过定性分析验证效果。
金山与华科发布多模态模型MonkeyOCR v1.5：文档解析能力超越PaddleOCR-VL，复杂表格解析首次突破90%
2025年6月以来多模态文档解析成前沿课题。MonkeyOCR v1.5是全新框架，在OmniDocBench v1.5等基准上全面突破，复杂表格等场景提升9.7%，采用两阶段解析管道和复杂表格处理方案。
Flash-Searcher：Web Agent的并行革命
当下Web智能体用顺序执行链解决复杂任务存在执行和信息利用率低的问题。为此提出Flash - Searcher，以DAG并行执行机制为核心，提升执行吞吐与速度，在多基准上表现优，代码已开源。
一举击败Claude Code！微软提出代码生成黑科技：一键直出36K行代码
现有方法依赖自然语言规划生成仓库易失效，微软提出Repository Planning Graph (RPG)，以图谱替代文字规划。基于此的ZeroRepo框架能让仓库生成可控、可扩、可验证，在新基准RepoCraft上表现远超Claude Code。
谁是最强“打工AI”？OpenAI亲自测试，结果第一不是自己
OpenAI发布新研究，提出GDPval基准衡量AI模型在有经济价值任务上的表现。Claude Opus 4.1表现最佳，GPT - 5次之。OpenAI开源优质子集并提供自动评分服务，还指出了GDPval的局限。