「Coding 基准测试」共找到 2875 篇相关文章
Claude Code越更越废？！大厂AI主管公开怒喷思考深度暴跌，官方回应更被怼爆 ：菜成AI“玩具”
Claude Code在2月更新后无法用于复杂工程任务，AMD AI团队主管Stella Laurenzo分析发现其思考深度下降67%、算力消耗增加。开发者不满，Claude Code负责人回应未获认同，部分开发者考虑转用Codex。
Claude Code之父自曝刘慈欣铁粉！不写PRD、不设职称，Anthropic 如何连续推出两个AI 爆款？
本文是对Anthropic公司Claude Code创始人Boris Cherny的访谈。他分享了Claude Code和Claude Cowork的构建过程，介绍了Anthropic不写PRD、不设职称的团队文化，还探讨了AI时代工程师的技能转变及应对策略。
4万星开源项目被指造假！MemGPT作者开撕Mem0：为营销随便造数据，净搞没有意义的测试！
高人气开源智能体记忆项目Mem0在论文中称在LOCOMO上打败所有人，MemGPT联合创始人公开指控其测试无意义、数据造假。二者都为解决大模型长期记忆问题，Letta认为能力比工具重要，并给出评估智能体记忆能力的方法。
对话AutoCoder宿文：做5000万程序员的AI IDE，不如做10亿软件消费者的Vibe Coding
2025年AI Coding赛道火热，大厂纷纷布局。AutoCoder创始人宿文认为不应与大厂卷辅助编程，要走出差异化，做面向10亿软件消费者的Vibe Coding。团队迭代代码模型，产品数据表现佳，还分享了创业、产品、市场等多方面看法。
Test Time Scaling Law远未达到上限! o4-mini仅15.8%通过率，华为诺亚提出代码HLCE终极基准
华为诺亚研究员推出全新编程基准HLCE，含235道竞赛难题。实验显示，顶级LLM在该基准表现不佳，推理模型优势大，IOI交互式题难攻克。研究还发现模型自我认知与推理能力发展不同步，Test Time Scaling Law远未达上限。
华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能
华为研究团队推出仅基于监督微调（SFT）的软件工程代码智能体SWE-Lego，无需复杂RL流程，在SWE-bench Verified基准中表现出色，项目已开源。它有数据、训练和测试时扩展三大创新。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。
ICLR-26腾讯混元：Agent是强大的，但用户是狂野的
现有LLM工具使用基准测试场景理想化，忽视真实用户行为复杂性。腾讯提出WildToolBench，基于真实用户行为构建测试集，对58个模型评估，发现模型准确率低，揭示LLM在真实场景下能力缺口，为模型优化指明方向。
不吹不黑，在Agent任务上，kimi 2.6确实让我忘了Claude。
Kimi K2.6发布并开源，代码和Agent能力提升。作者测试发现，它在部署Claude Code源码、网站生成、多智能体任务等方面表现出色，审美提升，思维活跃，还能复刻文档风格，开源释放了前沿编程能力。