「基准构建」共找到 2676 篇相关文章
告别AI“乱画图表”！港中文团队发布首个结构化图像生成编辑系统
现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。
必须得让AI明白，有些不该碰的东西别碰（doge）
近期类o3模型在视觉推理任务表现优异，但陷入‘盲目用工具’状态。港中文MMLab等团队提出AdaTooler-V模型，具备自适应工具使用能力，还引入指标、算法，构建数据集，在多基准测评中优势明显。
为防AI刷题，Nature等顶刊最新封面被做成数据集，考验模型科学推理能力|上海交通大学
上海交通大学王德泉教授课题组提出MAC基准，用顶级期刊最新封面构建测试集，评测多模态大模型能力。研究设计两种含“语义陷阱”的测试任务，发现顶尖模型有局限，还提出DAD方法提升表现，采用双重动态机制。
超越DeepSeek-R1，数学形式化准确率飙升至84% | 字节&南大开源
字节跳动Seed团队与南京大学联合发布CriticLean框架，将数学自然语言到Lean 4代码的形式化准确率从38%提升至84%。该框架创新性地将评估模型置于核心，解决语义对齐等问题，还构建了相关基准测试和数据集。
Agent KB：经验池让Agents互相学习！GAIA新开源SOTA，Pass@1性能最高提升6.66
来自多家机构团队发布 Agent KB 框架，构建经验池实现 AI Agent 经验共享。在 GAIA 基准测试中表现出色，提升多模型 Pass@1 性能，还在软件工程领域展现价值。其设计精妙，经消融、检索策略等实验验证有效。
GPT-4V仅达Level-2？全球首个多模态通才段位排行榜发布，General-Level打造多模态通用AI评测新范式
General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。
预训练就学会思考！字节、北大等用14亿参数，撬动百亿模型推理能力
字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。
4000万样本炼出AI读心术，刷新七榜SOTA，最强「人类偏好感应器」开源
Skywork-Reward-V2全新发布，构建超高质量千万级人类偏好样本，刷新七大评测基准SOTA。8款模型覆盖6亿至80亿参数，小体积也能媲美大模型性能。团队引入多样大规模真实人类偏好数据，提升数据规模与质量。
让AI像人类一样认知真实世界！UCLA谷歌强强联手，长时记忆+3D空间理解超越基线16.5%
如何让AI在3D环境中像人类一样思考，是具身智能领域难题。UCLA与谷歌团队带来3DLLM - MEM模型与3DMEM - BENCH基准，让AI有构建、维护和利用长时记忆能力，实验超基线16.5%，但有依赖模拟器预设的局限。
vivo AI Lab提出自我进化的移动GUI智能体，UI-Genie无需人工标注实现性能持续提升
香港中文大学MMLab和vivo AI Lab团队提出自我进化框架UI - Genie，构建奖励模型UI - Genie - RM解决轨迹验证难题，通过数据生成和模型迭代闭环实现智能体与奖励模型双向增强，在多基准测试中表现出色，打破人工标注瓶颈。