搜索：代码能力评测

「代码能力评测」共找到 4792 篇相关文章

Llama惨遭抛弃！Meta内部改用Claude写代码

据Meta工程师透露，Meta内部开发已弃用自家Llama，改用Claude Sonnet写代码。Llama 4风评不佳，有人怀疑Llama 5是否会推出。Claude写代码能力一流，其背后公司收入增长快。

有效信息搜索对提升LLMs推理和生成能力重要，当前RL方法有文档质量不可控和API成本高问题。阿里通义Lab提出ZEROSEARCH框架，经多步骤训练，实验显示其在检索能力和泛化性上表现出色。

本文探讨在灵码内使用Claude Skills能力，介绍其实现机制、灵码适配方案。还以代码审核场景为例，展示自定义Skill的创建方法，总结Claude Skills优势及应用场景，展望其与MCP的发展前景。

中国科学院自动化研究所联合华为提出 FeatureBench，构建端到端基础设施并开源。它从单元测试出发构造评测任务，引入多种机制保障任务可执行、可验证，能有效区分模型能力，还提供易用的评测流程。

大模型 Agent 在智能运维场景落地常遇泛化难题。阿里云李也博士介绍利用评测集验证和提升智能运维算法泛化性的实践，阐述评测集重要性、构建方法，还展示其在提升智能运维 Agent 能力上的成效。

多模态大模型代码能力进步大，但基础视觉任务常失误。UniPat AI开源SWE-Vision框架，让模型用Python代码处理视觉判断。它极简设计，在五个视觉基准测试达最优，提升前沿模型视觉表现。

腾讯ARC Lab和香港城市大学推出Video - Holmes，这是视频推理界的‘福尔摩斯测试’，能展现多模态大模型复杂视频推理能力的边界，规避现有Benchmark痛点，测试中所有大模型全部不及格，代码已开源。

昨日，OpenAI、谷歌和Anthropic等发布新模型。Anthropic推出Claude Opus 4.1，虽性能提升不大，但编码能力获大客户认可。实测显示Claude - Opus - 4.1写代码稳，OpenAI新模型表现不佳。

GitNexus是零服务器代码智能引擎，能将GitHub仓库或ZIP文件转为交互式知识图谱，让AI看懂代码依赖。它有知识图谱构建等功能，支持多语言，适用于接手项目、代码审查等场景。

2025年1月27日，月之暗面发布并开源Kimi K2.5模型，它是迄今最智能全能的模型，在多任务有出色表现。支持多模态输入，具备新能力，还推出Kimi Code工具，集群能力也开启Beta测试。