「评估基准」共找到 1426 篇相关文章
AlphaGo之父找到创造强化学习算法新方法：让AI自己设计
谷歌DeepMind团队在Nature发表论文，探索AI自主发现强化学习算法的可能。团队负责人是“AlphaGo之父”David Silver 。方法是基于智能体经验元学习，实验显示自动发现的规则表现优异，未来强化学习算法或无需人工设计。
打造图像编辑领域的ImageNet？苹果用Nano Banana开源了一个超大数据集
苹果研究团队提出Pico - Banana - 400K数据集，基于Nano - Banana在OpenImages实拍照片生成编辑对。其系统化设计保证质量与多样性，还构建自我编辑评估流程，为图像编辑模型训练评测奠定基础。
规范对齐：回答前的深思，让安全与行为边界更清晰
OpenAI等厂商将规范融入大模型。上海交大等团队提出规范对齐概念，构建评测基准SpecBench，揭示主流模型不足。探索测试时深思方法，如Align3，能提升模型规范遵循度，项目已开源。
AI取代放射科医生还早！Karpathy最新发声：软件工程师也不会失业
Andrej Karpathy发文推荐‘AI并未取代放射科医生’文章，并分享对AI与就业市场关系看法。他指出外界对AI影响就业有‘天真预测’，还阐述用AI取代放射科医生不易的原因及工作因AI变化的标准。
大模型破译甲骨文创下新SOTA！复旦团队推出新框架
复旦大学团队提出基于部首和象形分析的可解释甲骨文破译框架，构建PD - OBS数据集。该框架在公开基准数据集上准确率高，零样本破译能力强，能输出可解释分析文本，助力考古破译。
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
自搜索强化学习SSRL：Agentic RL的Sim2Real时刻
本文由多机构联合完成，引入自搜索强化学习SSRL。它利用结构化prompt和format reward提取模型world knowledge，降低幻觉。还探索Sim2Real有效性，验证SSRL训练模型在真实场景泛化性，且所有训练数据等已开源。
大模型能否为不同硬件平台生成高性能内核？南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核，当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench，打破现有评测基准局限，构建模块化评测体系，多模型实测，还指出LLM短板并明确未来方向。
「一只手有几根手指」，你的GPT-5答对了吗？
CMU博士生Tairan He测试发现GPT - 5答错‘一只手有几根手指’问题，指出语言难满足视觉与机器人领域需求，需VLM和VLA模型。编辑部测试发现顶尖大模型面对常识问题也会‘翻车’，还探讨了应对方法。
史上最大高质量科学推理后训练数据集开源，快速让Qwen3等变“科学家”
上海创智学院、上海交通大学发布开源科学推理后训练数据集MegaScience，含约125万条问答对，覆盖多学科。它解决了现有数据集的问题，实验显示能提升模型科学推理能力，已完整开源相关组件。