「半监督评测体系」共找到 1303 篇相关文章
Harness Engineering实践，做了一个平台让AI一晚上自动评测和优化你的系统
作者分享搭建小平台实现全自动化评测与系统优化的实践，包括创建评测任务、集、报告等，通过钉钉文档、绘报等案例展示操作，还能自动优化系统，不过需系统UI规范、AI Coding含量高。
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
清华大学与英伟达、斯坦福联合提出监督学习方案NFT，在RFT算法基础上构造“隐式负向模型”利用负向数据训练。该策略弥合监督与强化学习差距，其损失函数梯度和GRPO在On - Policy条件下等价。
500万视频数据集+全新评测框架！北大开源主体一致性视频生成领域新基建OpenS2V-Nexus，生成视频 「像」 又 「自然」
北大团队推出开源套件OpenS2V - Nexus，含全球首个S2V细粒度评测基准OpenS2V - Eval和500万条高质量人物文本视频三元组数据集OpenS2V - 5M，还评测18个S2V模型，揭示主流模型能力差距。
从Foundation Model到Physical AI，三星「杀入」大模型核心战场
三星正快速进入大模型核心战场，构建Foundation Model体系，采购GPU用于AI基建。它提出Meki架构、M2RL训练范式和LiveClawBench评测体系，由AI Model TF团队推进，负责人是唐业辉。
AI无限生成《我的世界》，玩家动动键盘鼠标自主控制！国产交互式世界模型来了
昆仑万维带来交互式世界模型Matrix - Game，可让用户用键鼠探索创作虚拟内容。它发布了Matrix - Game - MC数据集、主模型和GameWorld Score评测体系，在多项评测中领先，还能在多领域发挥作用。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
AI最尴尬的短板，中国科学院出手了
7月24日，中科院计算所“知境”团队发布知境社会心智大模型技术体系，为现有大模型补社会心智短板。其建评测体系SoMBench，设计训练系统Zing，用部署架构Actio，在多评测超越GPT - 5.5等，应用前景广。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
EMNLP 2025 | T2R-bench: 业内「首个」工业级表格生成报告评测基准
中国电信人工智能研究院推出业内首个面向真实工业场景的“表格到报告”基准T2R-bench，涵盖多领域真实表格、问题与人工标注关键点，配套创新性三维度评测体系。实验显示主流大模型在该任务上表现欠佳，提升空间大。
Embodied Arena：业界首个统一具身大脑评测平台重磅发布，30+模型全面对比揭示关键洞察
具身智能火热，研究者常感茫然。Embodied Arena评测平台上线，它全面统一且持续演进，涵盖22+基准测试和30+模型，构建评估体系，揭示关键洞察，为具身模型发展指引方向。