「编程能力评估」共找到 4430 篇相关文章
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。
为什么AI总是"记错"你？我们造了一个"合成人生"来测试
现有AI记忆评测只记'事'不记'人'，存在数据源窄、不重理解、注入成本高的问题。QuantaAlpha联合高校团队提出CloneMem基准测试，用'数字痕迹'评估AI Clone长期记忆能力，实验有反直觉结论并给出设计启示。
Seedance 2.0刷屏后，字节还有个硬核模型——3个复杂任务实测Seed 2.0
作者作为AI编程工具深度用户，没追热门的Seedance 2.0，而是实测同期发布的豆包大模型Seed 2.0。设计3个日常复杂任务，在TRAE接入其Pro版测试，展现出强大的自主纠错和多任务处理能力，也指出了不足。
蚂蚁 | 提出代码检索/重排基准：CoREB，揭开高分榜背后的三大幻觉，现已接入MTEB
蚂蚁研究人员提出代码检索与重排评测基准CoREB，解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB，收录19个模型×6个任务评测结果，为代码检索模型评估提供新基线。
Karpathy、Claude Code之父Boris，最新访谈，把整个程序员圈炸了！
假期红衫AI Ascent 2026上，Claude Code之父Boris与Karpathy演讲引发关注。Boris称编程执行层已解决，他用Claude App工作，全公司代码由模型生成；Karpathy提出Software 3.0概念，还谈到模型能力不均匀。两人还对面试、创业等给出看法。
每天审200个PR、每月3000个Issue？智能体开始并行写代码，人类可能成最薄弱环节
本文是对微软 VS Code 团队工程经理 Kai Maetzel 的访谈。他回顾了 VS Code 发展历程，分享 AI 编程、智能体开发及开发者工具设计的实践思考，如 AI 补全体验优化、智能体开发权衡、与 IDE 交互机制等，还探讨了未来发展挑战与趋势。
GTC 巅峰对话 Jeff Dean x Bill Dally：预训练范式已死、延迟瓶颈不在计算、谈透 AI 五年未来 | GTC 2026
GTC 2026上，NVIDIA首席科学家Bill Dally和Google Jeff Dean展开重磅对话。讨论了模型能力进步、低延迟推理架构、模型自主进化、数据与算力、训练与推理硬件差别等多方面内容，分享对未来AI的看法与见解。
密室逃脱成AI新考场，通关率不足50%，暴露空间推理短板丨清华ICCV25
清华大学团队受密室逃脱游戏启发，提出EscapeCraft：一个3D密室逃脱环境，用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型，发现它们在推理和探索行为方面存在诸多问题。
DMS Airflow：企业级数据工作流编排平台的专业实践
DMS Airflow 基于 Apache Airflow，集成阿里云 DMS 系统能力，为数据团队提供工作流调度等功能。文章介绍其高级编排能力、DMS 集成特殊能力及使用示例，总结核心优势与适用场景。