搜索：编程能力评估

「编程能力评估」共找到 4465 篇相关文章

低调霸榜全球最难SQL榜单超两月，国产AI这次选择高调开源！

蚂蚁数科低调霸榜全球最权威SQL榜单超两月后高调开源Agentar - SQL系列。其核心思想是让AI赋能生产，在金融场景验证后能力外溢到多领域，还采用按效果付费模式，展现强大竞争力。

美团宣布开源高效推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking，是国内首个结合多种推理能力的大语言模型。它采用新方法提升性能，已在多平台开源，API 平台免费开放，还兼容主流 API 格式。

上周，MBZUAI与G42等开源号称「全球最快的开源AI推理模型」K2 - Think，引发广泛关注，图灵奖得主Yann LeCun也转发相关推文。但三天后，ETH苏黎世研究员发文指出该模型存在数据污染、评估方式不合理等问题。

文章探讨大模型是否到顶，指出‘到顶’争论分三个问题，靠堆大模型提升能力之路变平，受数据和成本约束。但大模型还有后训练和推理时计算两个发展方向，未来进步或来自更会用算力。

文章围绕清华团队提出的 WorldArena 评测框架展开。它针对具身世界模型，对过去沿用视频生成的评测逻辑重新审视，从视觉质量和功能性任务两维度评估，推动世界模型从‘生成世界’迈向‘使用世界’。

这是万字Claude Skills指南，从概念到实战。介绍了Skills是模块化能力包，有渐进式披露设计，对比了与MCP、Subagent区别，阐述其优势。还讲了创建、设计、使用方法及分类体系，提示安全风险并推荐资源。

CMU团队在最新ECIR接收论文中，系统评估RAG语料规模与生成模型规模替代关系。实验表明，语料扩容可让小模型追上大模型，提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。

丰田研究院（TRI）团队研究大型行为模型（LBM），在近1700小时机器人数据上训练并大量部署评估。发现LBM性能提升显著，预训练小数据量也能带来增益，预示机器人通用大模型或到来。

黄仁勋与Lex Fridman进行两小时访谈，从Amdahl定律聊到人类意识。谈及NVIDIA发展，如CUDA决策致市值下跌后回升；提出AI扩展定律，认为智能由算力决定；还分享管理、技术预判等看法及对中国创新的评价。

现有LLM工具使用基准测试场景理想化，忽视真实用户行为复杂性。腾讯提出WildToolBench，基于真实用户行为构建测试集，对58个模型评估，发现模型准确率低，揭示LLM在真实场景下能力缺口，为模型优化指明方向。