搜索：代码评估数据集

「代码评估数据集」共找到 4416 篇相关文章

Karpathy揭秘开源成功密码：像细菌一样写代码

Andrej Karpathy提出构建繁荣开源社区要像细菌写基因组一样写代码，强调代码小巧、模块化、自给自足。他指出此方式有局限，应兼顾细菌与真核生物基因组优点，还称“More gists, less gits!”。

Karpathy提出“代码即公司”观点，认为AI驱动的组织可像代码仓库一样被复制、修改、迭代。传统组织因“制度性知识”难以fork，AI能将隐性知识显性化。交易公司或成首个被fork的组织类型，管理协调是核心竞争力。

本文介绍DMS的数据分析智能体Data Agent，它从实验室走向企业生产一线，革新数据分析范式。文中剖析构建要点，对比与传统BI、高级分析差异，阐述技术内核优化及企业级能力，为开发实践提供参考。

MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。

AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。

苹果基础模型原负责人庞若鸣在 Meta 任职期间，其在苹果参与的高价值研究仍不断发表。研究团队针对大模型训练中高质量数据枯竭问题，提出 Synthetic Bootstrapped Pretraining (SBP) 预训练流程，提升模型性能。

文章指出AI下半场模型评估比训练更重要，做好Evals是当下AI产品开发刚需。介绍了Evals重要性、三种方法、通用评估标准等，还教你从零构建Evals及设计注意事项，助你快速上手评估。

上海交通大学研究团队构建高效标注流程，发布最大人体动作数据集MotionMillion，含超2000小时、200万条文本 - 动作配对数据。还推出评测体系MotionMillion - Eval，训练70亿参数动作生成大模型，刷新SOTA。

这是大模型评估排障指南系列第二篇，聚焦 LaTeX 公式解析。评估难点是解析和比较模型输出与标准答案，无标准方法。lm - evaluation 框架用 sympy 解析准确率约 0.94，还给出缓解问题办法。

随着生成式AI发展，合成数据成大模型训练重要部分，但可能引发“模型崩溃”。ICML 2025会议上，上交大等团队剖析此问题，提出Token - Level Editing策略，避免模型崩溃，实验验证了其有效性。