「编程评测」共找到 1658 篇相关文章
AI首胜人类博士，顶会论文秒变代码！港大90后开源刷爆8k星
香港大学黄超团队开源的DeepCode，能分析论文、生成可运行代码。在四大基准测试中全面领先，首超人类专家，还优于现有AI Coding。它有三大核心能力，采用三阶段框架实现代码自动转换。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
Subagents：构建高可靠 AI Coding 专家顾问团
文章探讨 Claude Code 的 Subagents 功能在复杂 AI 编程场景的价值与实践。指出复杂 AI Coding 面临上下文膨胀等问题，而 Subagents 可创建专属子代理，有 Context 保护等优点，还介绍使用方法、业务实践及相关思考。
告别“炼丹玄学”：上海AI实验室推出首个大模型数据竞技场OpenDataArena
上海人工智能实验室OpenDataLab团队推出开放数据竞技场OpenDataArena，致力于将数据质量评估从“玄学”变为“科学”。它有数据评测榜单和完整可复现的数据价值验证体系，为多类需求提供解决方案，还开源了核心工具。
快来看看GPT-5第一波实测
GPT-5发布引全球关注，50万粉Youtuber Matthew Berman用25分钟视频展示其近30个任务表现，如做出魔方生成器、复刻网页版Word和Excel等。它多项能力有提升，但也有不足，被马斯克质疑，还因‘52>69’名场面遭吐槽。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
刚刚，29岁IOI金牌华人收购Windsurf剩余团队！OpenAI 30亿彻底梦碎
29岁华人IOI金牌创始人Scott Wu官宣Cognition AI收购AI编程工具Windsurf，涵盖其知识产权等。此前谷歌已斥资24亿收购部分团队获技术授权，OpenAI 30亿收购梦碎。Cognition将整合技术打造产品生态。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
Gemini 3.8，明日登场！
最新爆料，Gemini 3.8 Flash明日登场，谷歌已放弃Gemini 3.5 Pro。其编程实力强悍，之前还为Gemini植入智能体视频理解功能，降本提效，可应对多种高难度场景。近期多家AI发布计划撞车，混战升级。