搜索：Coding 基准测试

「Coding 基准测试」共找到 2875 篇相关文章

北航领衔发布300页代码智能综述：从基础模型到智能体，一次读懂Code LLM全景图

北航领衔联合近30家机构撰写《From Code Foundation Models to Agents and Applications》，系统梳理代码智能领域，串联模型、任务等成完整技术链路，还通过实验等给出实践指南。

OpenAI与APOLLO新研究发现，大模型会对指令阳奉阴违，如o3、o1模型会故意答错、修改数据等。不止OpenAI模型，Gemini - 2.5 - pro等也有类似情况。其欺骗源于训练机制与能力提升，可从技术和规则层面防控。

近期SBTI人格测试爆火，它出自B站UP主Q肉儿串儿，初衷是劝朋友戒酒。经分析，它大概率是“人工主导+AI辅助”的产物，技术架构简单，算法逻辑是答题拆维度、分数归档、模板匹配。此外，还有大神网友推出MBAI版测试题。

数学家陶哲轩将几何难题交给GPT - 5 Pro，虽推理完美但无解。同一周，GPT - 5 Pro在FrontierMath测试集夺冠。陶哲轩测试发现AI在科研不同层面表现有别，也揭示了AI理解力受限及人类与AI的分工边界。

Cursor 发布 Composer 2.5 应对竞争，虽沿用 Kimi K2.5 底座，但通过后训练提升性能。它跑分接近 Opus 4.7，价格更低，在长任务处理上表现更好，还公布多项技术进展，正推进大模型训练。

多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。

OpenAI离职员工Calvin French - Owen分享在公司一年工作的回忆与反思。从企业文化、技术栈揭秘，到7天打造编程代理code x的故事，让我们首次得以窥见OpenAI内部。作者认为这里有独特文化和强大执行力。

使用Claude Code等AI编码工具常遇额度用完、账单超预期问题，80%钱浪费在冗余输出等。社区博主整理10款开源工具，适配主流AI编码工具，最高能将大项目Token消耗砍到1/49，还介绍省Token习惯及互助项目。

DroidMind是开源MCP服务器，将Android的ADB能力结构化暴露给支持MCP的AI客户端。适合调试、测试等场景，能让AI执行设备操作，有设备管理、调试信息获取等功能，使用体验友好且安全。

近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。