「代码测试基准」共找到 3602 篇相关文章
OpenAI Codex桌面版深夜突袭!一人指挥Agent军团,程序员彻底告别996
OpenAI推出编码杀器Codex桌面App,可指挥多Agent并行协作。它能多任务并行切换,创建调用Skills,设置自动化流程,从写代码进化到解决问题,还具备双人格模式,默认安全,有望重塑开发者与代码交互逻辑。
“憋屈” CEO出走GitHub!自曝在微软受限干不下去、被开发者骂蠢喊冤,或押宝Agent反攻老东家?
GitHub 首席执行官 Thomas Dohmke 宣布离职,之后将重新成为创始人。GitHub 将更全面融入微软组织架构,不再设单一领导者。Dohmke 任内升级 Copilot,但也面临功能被抱怨等问题,他还谈及 AI 发展方向。
ACL 2025 | 指令遵循不能仅靠常识?GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench,涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳,尤其数学推理挑战大,为模型迭代提供评估基准。
获NVIDIA致谢:悟空Agent的实践、复盘与迭代
本文以悟空Agent获NVIDIA致谢为切入点,介绍多智能体架构闭环及实战挑战,如上下文断流、调度失衡。还阐述架构设计、迭代优化、数据飞轮体系,指出AI infra存在安全隐患,强调安全融入业务的重要性。
Coze 开源 :全整理
字节跳动开源AI Agent开发平台Coze,含核心产品Coze Studio和Coze Loop。前者可零代码或低代码编排AI Agent;后者是运维中心,解决全链路挑战。采用Apache 2.0协议,安装门槛低,意在构建生态闭环。
伯克利斯坦福联手造出「科研预言家」:77%准确率押注研究想法前景
伯克利和斯坦福团队让GPT - 4.1变身「科研预言家」,从顶会提取想法对比案例训练,不借助实验验证,靠推理押注。其在公开题库测试、人类专家团战等测试中表现出色,还能预测AI新点子。
九成以上模型止步白银段位,只有3个铂金!通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段,下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架,剖析多模态大模型短板,推出五级评估体系和测试集,测试结果暴露模型弱点,引发社区积极反响。
BeyondSWE:AI编程80分是真的强,还是考卷太简单?
前沿模型在SWE - bench Verified测试中得分超80%,但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测,规模是前者18倍,模型得分全跌破45%。还提出SearchSWE框架,结果显示搜索与编码能力融合待提升。
BesiegeField:LLM能否学会设计机器?
香港中文大学推出基于游戏《Besiege》的测试平台BesiegeField,探讨LLM能否学会设计机器。研究通过组合式机器设计视角,测试LLM,提出多智能体迭代设计流程等,发现LLM有挑战但并非不可实现,如Gemini 2.5 Pro表现不错。
马斯克吹牛了吗?Grok 4第一波实测出炉:既能完虐o3,也菜到数不清6根手指
马斯克称Grok在各学科达博士后水平,激起网友兴趣。博主测试显示Grok 4在多项测试中完胜o3,网友还用它写游戏、让概念可视化。不过Grok 4也有翻车表现,马斯克称其仍有改进空间。