「基准集」共找到 1340 篇相关文章
给定"标价"的 LLM 智能体，能规划出"最优"路径吗？
在LLM智能体多轮工具使用中，评估成本是难题。来自多所高校的团队推出CostBench基准，围绕旅行规划构建评估环境。评估顶尖模型发现其规划与适应能力有短板，并分析失效根源，还指出下一代智能体演进方向。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
预训练就学会思考！字节、北大等用14亿参数，撬动百亿模型推理能力
字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。
清华、北大，上海交大等发布人机协同训练框架，让机器人零样本学会新技能
清华、北大等发布人机协同训练框架MotionTrans，能让机器人零样本学会新技能。它将人类数据翻译成机器人语言，构建数据集，经格式转换、速度调整等处理后训练模型，实验验证其有效性，且数据、代码和模型已开源。
用于评估AI Web渗透测试能力的工具：XBow Bechmark,比靶机更好
文章介绍了用于评估AI Web渗透测试能力的XBow Benchmark，它已在github开源。该基准含104个Web安全挑战，涵盖多种漏洞，设计确保可重复性和状态持久性，其评估能力获广泛认可，还介绍了开源内容等。
ICLR 2026惊现SAM 3，分割一切的下一步：让模型理解「概念」
9月12日，匿名论文‘SAM 3: SEGMENT ANYTHING WITH CONCEPTS’登陆ICLR 2026，外界猜测出自Meta。SAM 3定义了可提示概念分割任务，性能比之前系统提升至少2倍，在多基准测试获SOTA成绩，但也有人质疑是旧概念包装。
EMNLP 2025 | CARE：无需外部工具，让大模型原生检索增强推理实现上下文高保真
MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。
Andrej Karpathy深度解读：强化学习之父为何说大模型违背了「苦涩教训」
Andrej Karpathy深度解读Sutton与Dwarkesh的播客对话。Sutton认为大模型不符合「苦涩教训」，因其训练依赖人类数据集。他追求类似动物通过强化学习与世界交互的系统。Karpathy认可批评，认为找到符合原则算法是突破。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。
3B模型性能小钢炮，“AI下半场应该训练+验证两条腿跑步”丨上海AI Lab&澳门大学
上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench，填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要，当前验证方法有困境，新模型验证精度高且能用于强化学习。