「代码能力评测」共找到 4810 篇相关文章
我们离Coding领域的「AGI时刻」还有多远？字节跳动Seed发布NL2Repo-Bench仓库级长程代码生成基准
在AI编程领域，大家认为Coding领域的AGI似乎可以实现，然而真正的项目开发要求更高。近日，字节跳动Seed等联合发布首个评估编码智能体端到端仓库生成能力的基准测试NL2Repo - Bench，还介绍了其构建、评估等情况。
16 年老程序员用 Claude Code 搞副业：我只手敲了 1000 行，剩下 95% 代码靠自动生成
Anthropic公司的AI编码助手Claude Code推出4个月吸引11.5万开发者，单周处理代码量达1.95亿行，预估年化收入约1.3亿美元。开发者Indragie用其构建macOS应用，2万行代码中手写不到1000行，还分享使用技巧与体验。
“如果你不能用300行代码写个Cursor，这行你就别待了！”Ralph Loop创造者、Claude Code核心技术设计者的暴论
Ralph Loop 创造者 Geoffrey Huntley 在播客称软件开发已死，任何人用 Cursor 就能生成代码。他还谈到 K 型分化下职业生存法则、Ralph Loop 设计哲学、代码审查问题，并给出学习和职业发展建议。
GPT-5.4 仅 11.36%！当大规模工具生态变成迷宫，LLM Agent 还能完成长程规划吗？
PlanBench-XL 来自 UIUC 团队，将 LLM Agent 放入零售 API 世界，评测其长程规划能力。它考虑真实工具环境挑战，含 327 个任务等，发现多数模型规划难、恢复差等问题，并给出改进启示。
多模态推理新基准！最强Gemini 2.5 Pro仅得60分，复旦港中文上海AILab等出品
现有多模态大模型benchmark对逻辑推理理解不足，复旦大学等单位提出MME - Reasoning评估其推理能力。对30 + 模型评测，最优得分仅60%左右，反映出模型多方面推理短板。
Claude 4发布！世界最强编程模型来了
Anthropic发布Claude 4家族，含Claude Opus 4和Claude Sonnet 4，代码能力强，重新定义AI编程助手能力边界。有新功能，企业认可，Claude Code上线，记忆能力提升，立即可用且价格不变。
用AI把一段视频变成可视化网页，Google的新模型又卷飞了。
Google将Gemini 2.5 Pro更新为05 - 06版，此版代码能力在WebDev Arena盲测竞技场登顶，还提升视频理解能力，可将视频变成可视化网页，虽产品有不足，但模型进步值得肯定。
研究表明：资深开发者在使用AI工具时，完成任务的时间比不使用时延长了19%。
研究通过随机对照试验，发现2025年初资深开源开发者使用AI工具完成任务时间比不使用时延长19%。当前衡量AI能力多依赖标准化评测，可能高估或低估其真实能力，研究旨在更准确评估。
大模型解数学题是真懂还是 “死记硬背”？｜首个反例驱动的数学推理基准揭穿 “刷题式假象”！
随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。
Sam Altman宣告软件开发即将进入"快时尚时代"！机遇还是危机
Sam Altman宣告SaaS将进入快时尚时代，新的GPT - 5编程能力或让开发SaaS像Zara出新款般轻松。但此概念最早由Patricio提出，他认为AI编程会带来‘代码污染’，与Sam态度不同。