「代码评估」共找到 2293 篇相关文章
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
AI 时代到底该怎么管一个工程团队
Fiona Fung在Anthropic大会分享AI时代管理工程团队经验，指出软件工程瓶颈转移，需重构流程，介绍了少做和多做的事、技术辩论方式、代码评审分工等内容，还提及组织形态、指标及未解决的问题。
终于有了一个用龙虾而不是 Claude Code 的理由
作者作为有十年多代码经验的人，原本习惯用Claude Code等白盒工具。但在文档处理、多人协作等场景中，飞书OpenClaw优势明显，可一键部署多智能体，与飞书生态打通，还能自动修复异常。
LLM应用测试范式的进化
文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。
小模型也能精确计算：WorldModel-Qwen的推理时代码执行实验
开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。
GPT-5仅23.3%，全球AI集体挂科！地狱级编程考试，夺金神话破灭
最新基准测试SWE-Bench Pro评估AI编程智能体，直面真实企业级工程任务。顶尖模型几乎溃败，GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题，能成未来LLM编码能力标尺。
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
好看不等于会交互！阿里发布基于交互的世界模型基准
阿里等联合推出 Omni - WorldBench 评估框架，指出多数高颜值 AI 视频在物理规律和交互逻辑上有缺陷。该框架含提示词套件和量化评估框架，对 18 款模型测评，为 4D 世界模型研发指明方向。
Agent搜索哪家强？人大高瓴&快手联合发布全新评测基准GISA
人大高瓴与快手联合发布全新评测基准GISA，用于评估智能体搜索能力。它解决了现有基准反向构造、评估维度单一、答案易被记忆等问题，含373个高质量查询，实验显示当前搜索智能体距人类水平差距大。
Claude Opus 4.7发布！这是你在别的公众号看不到的五个发现
Anthropic发布Claude Opus 4.7，编码和视觉能力提升，但长上下文能力下降。其231页的System Card藏着不少有趣发现，如Opus 4.7非最强模型、Claude知道被测试、模型审查自身评估等。