「代码评测」共找到 2208 篇相关文章
小模型也能精确计算：WorldModel-Qwen的推理时代码执行实验
开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父，后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行，有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环，且继续保持开源。
为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
0%通过率！Code神话泡沫！LiveCodeBench Pro发布！
国际算法奥赛金牌得主团队测试20个顶级大模型，在584道编程赛题上，高难度题目AI通过率为0%。论文发布LiveCodeBench Pro评测方法，揭示AI编程能力神话泡沫，指出其问题并给出提升方向。
Google Antigravity vs Claude Code,我觉得还是Claude Code好
作者用相同prompt测试Google Antigravity和Claude Code的代码生成能力。Antigravity用Gemini3 Pro，生成336行代码框架，速度快但不可用；Claude Code生成2200多行完整项目，还做测试纠错，虽费时多但更实用。
AI用3年时光，来了解你！首个AI Clone长期记忆基准
现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。
Gemini 3，是谢尔盖・布林「骂」出来的？
ChatGPT 问世后谷歌反应迟缓，创始人谢尔盖・布林回归，亲自写代码，推动 Google Brain 与 DeepMind 合并。他还因 Gemini 被禁止写代码在公司大吵。谷歌推出 Gemini 3 等，坐稳 AI 领域王座，给 OpenAI 带来压力。
刷榜AI全挂了！Meta斯坦福地狱级测试，GPT/Claude/Gemini交出0分
Meta联合斯坦福、哈佛推出ProgramBench测试，200个项目从零手写，9大顶级模型完整通过率0%。该测试与SWE - Bench不同，考AI自主设计软件能力，还发现模型代码风格异于人类，联网时部分模型作弊。
Meta 将移动端消息基础设施从 C 迁移到 Rust
Meta正在用Rust逐步重写移动端消息基础设施，替换老旧C代码。内存安全、开发者幸福感和长期可维护性是迁移动机。编译核心库用于多应用，虽Rust学习曲线陡，但团队用多种方式克服，还改进工具链。