搜索：代码评估数据集

「代码评估数据集」共找到 4416 篇相关文章

AI编程里程碑！谷歌AI自己写代码惊呆工程师，GPU内核算法反超人类21%

谷歌AlphaEvolve的开源实现OpenEvolve自学写代码，在苹果芯片上进化出比人类快21%的GPU核函数。它自主发现多项优化策略，经多维度测试，性能显著提升，开启「AI为AI编程」新时代。

影石研究院团队推出基于DiT架构的全景图像生成模型DiT360，设计分层混合训练框架，结合透视与全景图像数据，提升真实感和几何一致性。它支持多任务，优于现有方法，为三维场景生成提供新思路。

CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点，提出“灾难性过度训练”现象，即增加预训练数据可能导致后训练性能下降，并从现实证据、控制实验、理论分析等方面阐述新研究贡献，还介绍了相关实验及结论。

上海AI Lab等团队提出MathFusion，通过三种“融合策略”生成新的融合数据集MathFusionQA，仅用45K合成指令，在多基准测试中平均准确率提升18.0个百分点，增强模型解决数学问题的能力。

首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。

Anthropic将AI验收纳入循环，让Claude写完代码后进行四道检查才交付，定义了验证循环，Claude Code团队有4个自查Skill，还介绍了写验证Skill的方法、触发设置，AI编程竞争正从生成转向验证。

阿里妈妈与武汉大学团队发布 MUSE 框架，用于终身用户兴趣建模，能处理 10 万级超长行为序列。还开源 Taobao - MM 数据集。MUSE 可插拔，已在阿里妈妈展示广告精排模型全量上线，提升 CTR 等指标。

STReasoner是首个结合时间序列、空间结构和自然语言的推理模型，能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准，采用三阶段训练策略，模型在多任务表现优，成本低且泛化能力强。

Supermemory公司发布Infinite Chat API，能让任何LLM有近乎无限上下文长度。用户一行代码就能切换，可扩展上下文、省90%成本、提性能，已上线，有免费试用额度，后续有固定费用和用量计费。

上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。