「测试评估集」共找到 2678 篇相关文章
被 AI 大厂逼至绝望，这帮欧洲人发起了一场“科学复兴运动”
AI前沿成果被科技巨头锁在“黑箱”，欧洲科学家、工程师等发起“科学复兴运动”成立LAION。他们构建开放数据集，训练出表现优异的模型，还进行“爱丽丝梦游仙境”研究测试大模型，探讨推理模型发展方向。
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
在边缘应用中，实现 Kubernetes 的主动扩缩容
Kubernetes已成为现代IT核心平台，在云环境应用广泛。但在边缘计算场景，其HPA功能有局限。文章介绍基于CPA构建自定义扩缩器，详述其评估算法、实现方式，经测试CPA比HPA表现更优，适合边缘环境。
比10年专业医生准4倍！微软发布突破性医疗AI系统
微软首席执行官分享新发布的医疗AI系统MAI - DxO，它模型无关，能适配不同语言模型，模拟医生诊断流程。测试显示其准确率远超专业医生，成本大幅下降。此外还发布序贯诊断基准SDBench。
Embodied Arena：业界首个统一具身大脑评测平台重磅发布，30+模型全面对比揭示关键洞察
具身智能火热，研究者常感茫然。Embodied Arena评测平台上线，它全面统一且持续演进，涵盖22+基准测试和30+模型，构建评估体系，揭示关键洞察，为具身模型发展指引方向。
姚顺雨入职腾讯50天后，发布了首篇署名论文：CL-Bench
2月3日姚顺雨加入腾讯50天后发布首篇署名论文《CL-bench: A Benchmark for Context Learning》。该论文做了新的benchmark，测试显示前沿模型平均分仅17.2%，指出模型在上下文学习尤其是归纳能力上的短板。
AgentFly：重塑Agent，无需微调LLM，如我们一样的记忆和经验持续学习
现有LLM智能体依赖静态流程或微调参数，缺乏灵活性且成本高。论文提出基于记忆的在线强化学习框架AgentFly，不更新LLM权重，在多基准测试表现出色，为构建通用智能体提供新范式。
大模型“拼好题”，45K数据撬动18%提升，数学问题拒绝死记硬背 | MathFusion
上海AI Lab等团队提出MathFusion，通过三种“融合策略”生成新的融合数据集MathFusionQA，仅用45K合成指令，在多基准测试中平均准确率提升18.0个百分点，增强模型解决数学问题的能力。
CVPR'26 | 以机器人为中心的ToM推理框架，从心智推理到决策行动
吉林大学、台湾大学和微软亚洲研究院联合提出MindPower Benchmark，构建以机器人为中心的ToM推理框架，统一建模环境感知、心智推理等，还构建数据集和评估指标。引入Mind - Reward强化优化，提升ToM决策与动作生成性能。
这次，LLM黑盒被LLM打开了~
随着大语言模型（LLM）能力提升，其内部机制更不透明。概念描述新范式用另一个 LLM 自动生成自然语言解释。介绍了描述对象、生成方法、评估指标，还提及社区关注方向，指出结合多种手段才能把解释变知识。