算法论文8

蚂蚁提出CoREB，揭示代码检索模型真相

AINLPer2026-06-18

AI 摘要

蚂蚁提出代码检索/重排基准CoREB，解决现有基准三大问题。已集成进MTEB，评估11个主流模型。发现C2T易、T2C难，T2C Search子任务是能力空缺，小模型在代码领域表现佳，无通用领先模型，reranker不总有用。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

清华发布OSWorld-Science评测基准

本文针对AI能否自主操作科研软件完成真实科研任务的问题，介绍了清华大学牵头多机构推出的OSWorld-Science，这是面向真实科研场景的智能体评测基准，包含146项真实科研任务，评测了12个主流模型，曝光了当前智能体的能力短板，为领域研究提供了统一评测基础。

本文介绍了斯坦福等多校研究者提出的机器人评测基准LIBERO-MAX，针对机器人执行任务中途环境变化的痛点，设计配对测试方案，经大规模仿真评测现有模型性能，为机器人动态鲁棒性改进提供标准化测试平台。

单个AI Agent能力不断提升，但多智能体协作能力缺乏系统评测。本文介绍新推出的AgentWorld评测基准，结合长时程任务、角色不对称与黑盒交互，评测多智能体协作能力，给出主流大模型的协作表现数据。

原推出RoboTwin系列基准的团队带来RoboDojo，这是统一的仿真+真实世界机器人操作评测基准。它设42个仿真任务、18个真实任务，让30个主流策略竞技，结果显示机器人距通用操作差距大。