「编码基准」共找到 1213 篇相关文章
杜克大学、Zoom推出LiveMCP‑101：GPT‑5表现最佳但未破60%，闭源模型Token效率对数规律引关注
杜克大学与Zoom研究者推出LiveMCP - 101，这是针对真实动态环境的MCP - enabled Agent评测基准。含101个任务，实验显示先进模型成功率低于60%，研究为提升Agent能力提供改进方向。
重磅！微软宣布开源Copilot！用 5000 万用户直接碾压 Cursor和Windsurf？
在 Build 2025 开发者大会上，微软宣布 GitHub Copilot Extension for VSCode 项目开源，还发布全新 AI 编码代理。开源是多因素推动的深思熟虑之举，预示 AI 开发工具从‘黑盒’向‘共建’转变。
OpenAI官方发布【Codex 上手指南】
OpenAI 昨晚推出 Codex 研究预览版，这是强大的远程编码智能体，能导航代码库、解答疑问等。官方还发布使用指南视频，介绍了快速上手步骤、工作方式，以及提升效能的方法。
全靠Claude4！30年FAANG老工程师：AI帮我解决了4年老bug
5月22日Anthropic推出Claude 4系列大模型，Claude Opus 4是领先编码模型。Reddit上30多年经验的前FAANG工程师称，它解决了困扰自己4年的C++ Bug，引发热烈讨论。
没KPI反而爆了？Cursor大神一人敲出核心功能！CEO上手7天不宕机，AI编程玩法全变了
昨日，Cursor的CEO基于GPT - 5.2构建了超300万行代码的浏览器，具备基础可用性。同时，Cursor工程负责人在访谈中分享了编码Agent发展、Cursor使用方式、未来方向等多方面内容，还揭秘团队工作模式。
医疗AI迎来大考！南洋理工发布首个LLM电子病历处理评测 | AAAI'26
南洋理工大学研究人员构建EHRStruct基准，涵盖11项核心任务、2200个样本，用于评测LLM处理结构化电子病历的能力。研究发现通用大模型优于医学专用模型，提出的EHRMaster框架与Gemini联合后性能超现有模型。
多模态模型挑战北京杭州地铁图！o3成绩显著，但跟人类有差距
近年来，多模态大模型在多种场景取得进展，但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap，评估模型在地铁图理解中的能力，发现主流模型有瓶颈，闭源模型虽优但仍逊于人类。
二元成功率已经过时！PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。
没想到，又一个Code Agents瓶颈，被美团&上交大彻底撕开了~
AI写代码能力提升，但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench，让AI出题人审核，还训练裁判PRDJudge，提升打分准确率与稳定性，促使AI学会‘看懂需求’。
Thinking with Video：一种全新的思考范式
在人工智能领域，‘用文本思考’和‘用图像思考’存在局限。复旦大学等团队提出‘用视频思考’范式，通过视频生成模型统一文本与视觉推理，构建VideoThinkBench基准测试Sora - 2，全面解读这一开创性工作。