「编程能力评估」共找到 4425 篇相关文章
Anthropic 最新博客：构建 AI Agent 评估体系完整指南
Anthropic 工程团队发布博客《Demystifying evals for AI agents》，揭秘内部对 AI Agent 的评估方法，涵盖评估结构、构建原因、常见 Agent 类型评估技术、评估非确定性处理、构建路线图及与其他方法配合策略等。
ChatGPT 评估员工绩效，评得是真能力吗？
绩效考核季，不少管理者用 ChatGPT 生成绩效评语，认为高效。但文章指出，把关键管理工作交 AI 是‘职业肌肉’萎缩，还给出管理场景下 AI 使用清单，网友也对 AI 辅助绩效评估展开热议。
蚂蚁开源万亿参数思考模型 Ring-1T，综合能力逼近 GPT-5、数学能力对标 IMO 银牌
10月14日凌晨，蚂蚁集团推出万亿参数思考模型Ring-1T并全面开源。它在多任务榜单表现均衡，数学能力达IMO银牌水平，通用能力逼近GPT - 5，还采用自研算法应对行业难题，目前可下载体验。
为什么我不“凭感觉编程”
作者 Jacob Harris 分享不“凭感觉编程”的原因。他认为使用 LLM 要付费，且无法应对编程本质复杂性，还缺乏元认知。同时，他强调编程中摩擦的重要性，在乎编程的创造性与责任感，也反感 LLM 语气等。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
AgentIF-OneDay 发布，评估全场景长时复杂任务
红杉中国 xbench 发布 AgentIF - OneDay 评测体系，用于评估大模型解决复杂任务的能力。该体系从任务复杂度新视角出发，沿 Scaling Context 和 Scaling Domain 推进，构造了三类典型任务进行测评，揭示了主流 Agent 的能力边界。
苹果炮轰AI推理遭打脸，GitHub大佬神怒怼！复杂任务≠推理能力
苹果发表论文指出推理大模型存在重大缺陷，相关解读在社交平台广泛传播。但GitHub高级工程师Sean Goedecke对论文持保留态度，认为谜题不是评估推理能力的好试验场，模型放弃不代表无推理能力。
末日来临，会古法编程的我成了救世主
文章介绍网络小说《AI 编程末日，只有我会古法编程》，讲述 2038 年超级 AI 接管代码生产后自毁，全球瘫痪，前腾讯工程师凭手写代码拯救世界。还探讨作者身份，分析不同阶段程序员对 AI 的焦虑，指出小说预言正成现实。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
无需人工标注！AI自生成训练数据，靠「演绎-归纳-溯因」解锁推理能力
新加坡国立大学等机构研究者提出元能力对齐训练框架，模仿人类推理心理学原理，将演绎、归纳与溯因能力融入模型训练。实验显示，该方法提升模型在多任务上的性能，且有跨领域可扩展性。