「评估标准」共找到 1025 篇相关文章
击败 GPT-5！理想汽车开源 RubricHub：大模型开放生成从此有了专业裁判
理想汽车基座模型团队联合高校发布RubricHub数据集，解决开放式任务评价难题。该数据集可将主观评价转化为量化标准，经其训练的Qwen3 - 14B小模型在医疗基准测试中超越GPT - 5。
检索做大，生成做轻：CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中，系统评估RAG语料规模与生成模型规模替代关系。实验表明，语料扩容可让小模型追上大模型，提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。
世界首个！李飞飞团队推出物理推理基准，大模型统统不及格？
斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy，通过测试发现顶尖模型在数值计算上不如人类，还揭示模型推理靠记忆而非测量，为AI发展指明方向。
全美罕见！普渡大学把AI写进“本科毕业条件”，校园炸锅：不会用AI，连毕业证都悬了？
美国普渡大学宣布，2026 年秋季入学新生毕业需达‘AI 工作能力’指标。校方称此非教学改革，是因就业压力，AI 能力成生存技能。该要求分五个方向，各学院依学科定标准，教师支持但忧执行。
别再问什么工作被AI取代！Karpathy直指本质：你的工作「可验证」吗？
前特斯拉AI负责人Andrej Karpathy提出，软件1.0自动化能指定的任务，软件2.0自动化能验证的任务。判断任务能否被AI接管，关键看是否满足可重置、可高效试错、可自动奖励三条准则。
硅谷10万大裁员真相：AI根本没想取代你，是老板想干掉你
美国科技公司正大规模裁员，10月裁员人数暴涨。出版业大亨认为AI或致全民失业或经济崩盘，Meta用AI辅助绩效评估。AI常成裁员借口，实则与盲目扩招、财务压力等有关，美国大学文凭也在贬值。
理解规范驱动开发：Kiro、spec-kit和Tessl
作者尝试理解规范驱动开发（SDD），查看了 Kiro、spec - kit 和 Tessl 三个自称 SDD 的工具。介绍了 SDD 定义、规范含义，分析评估工具的挑战，还指出工具存在不适合多数编程问题、审查体验差等问题。
大模型在具身推理上「翻车」了？4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力，用4496道题测试20个模型。发现多模态大模型具身能力不足，还分析错因，开发BEAR - Agent提升模型具身推理能力，在仿真测试中效果显著。
VaseVQA：考古领域实现专家级，诊断+补弱RL框架
在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。
刚刚，Andrej Karpathy放出大招：开源nanochat项目，仅8000行代码100美元就能训练出一个ChatGPT
Andrej Karpathy发布nanochat项目，用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元，就能有对话、写故事、答题的AI助手。项目覆盖广，含多训练步骤及评估体系。