搜索：代码生成基准

「代码生成基准」共找到 4244 篇相关文章

Python逆天改命！开源Hermes首次击败OpenAI Codex

纯Python写的开源项目Hermes Agent，在11项基准测试中以6:5战绩击败OpenAI用Rust写的Codex。它通过三大工程优化，将启动时间从701ms降至258ms。这表明在AI Agent领域，架构比语言性能更重要。

百度智能云桌面级AI智能体DuMate于今年3月22日全量上线。本文对其进行测评，设计围绕GitHub项目的复杂任务，测试它在研究、整理、文件生成和展示化输出的表现，探讨办公Agent从内容提供商到办公搭子的转变。

文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。

OpenMOSS团队开源的World Critic Model（WCM），解决了视觉 - 语言 - 动作模型强化学习（VLA - RL）中批评家模型（Critic Model）仅依赖单帧观测打分的问题。WCM让Critic学习预测执行动作后的潜在状态，代码等全开源，验证效果显著。

Cursor推出全新AI编程模型Composer 2.5，在部分编程基准测试上接近Claude 4.7 Opus和GPT - 5.5，运行效率最高提升10倍，成本仅为竞品一小部分。其采用定向文本反馈RL等机制，还与SpaceXAI合作冲击百万H100集群算力。

Anthropic 联合创始人 Jack Clark 发长文称，到 2028 年底，AI 实现端到端自动化研发概率超 60%。他分析多维度测试数据，指出 AI 在代码、科研、自我训练和管理等方面能力提升，也探讨了成真后的影响，但遭黄仁勋和陶哲轩质疑。

Google DeepMind 升级了 Gemini 3 的专用推理模式 Deep Think，跑分屠榜。ARC - AGI - 2 拿下 84.6%，在多个基准测试中表现优异。它不仅是解题机器，还能解决真实科学工程问题，已向部分用户推送，科研人员和开发者可通过 API 使用。

现有AI记忆评测只记'事'不记'人'，存在数据源窄、不重理解、注入成本高的问题。QuantaAlpha联合高校团队提出CloneMem基准测试，用'数字痕迹'评估AI Clone长期记忆能力，实验有反直觉结论并给出设计启示。

24岁华人女学霸Carina Hong初创打造的AxiomProver，在2025 Putnam数学竞赛拿下满分，其自主生成的Lean证明也公开。该竞赛是北美本科生数学竞赛天花板，人类满分罕见。此外，GPT - 5.2 Pro数学表现也很强，引发“奇点将近”之感。

在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。