搜索：Coding 基准测试

「Coding 基准测试」共找到 2898 篇相关文章

无需验证器的RL：RLPR解锁LLM通用推理潜能

现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。

苹果论文《思考的错觉》挑战AI推理能力基本假设，引发争议。OpenAI前研究主管则称AGI时代已近。多项研究测试推理模型，指出其有进步也有瓶颈，未来或需换思路，评估方式也待完善。

5月29日，InfoQ研究中心发布《推理模型综合测评报告2025》，通过五大维度、五大题型的300道测试题对八家主流推理模型全面测评，还总结各维度表现，梳理技术前置因素与趋势。6月6日有直播解读。

本文推荐6个Github开源项目，有能接入多平台的开源微信机器人CoW，基于VS Code魔改的AI代码编辑器Void，免费的ERP系统ERPNext，开源物联网平台ThingsBoard，共享虚拟浏览器Neko，微软轻量命令行编辑器Edit。

ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。

上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。

2025年5月，美两校联合团队在ICRA 2025发布LaMMA - P。它融合大模型与PDDL规划器，解决异构多机器人长时任务分配难题，在新基准数据集上，相比SMART - LLM，任务成功率提高105%，执行效率提升36%。

近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。

据The Information报道，Anthropic将在未来几周推出Claude Sonnet和Claude Opus两款新模型，能在「思考」和「工具使用」间切换，还可自动测试纠正代码。虽此前产品有不足，但新模型处理复杂任务更出色。

中科闻歌决策机Decitron被称为「全球首个通用决策大模型」，它将不同能力统一到开放世界决策框架，形成闭环。8月3日其技术报告发布，公开三项核心技术，还介绍了推演流程和实验验证情况。