搜索：编程基准测试

「编程基准测试」共找到 2946 篇相关文章

哈工大、中科院等利用模型“潜意识”提高推理模型效率，0.6B撬动复杂推理

哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。

人们曾认为AI图像识别技术会让放射科医生被淘汰，如杰弗里·辛顿预言应停止培训该类医生。但过去十年，放射科医生需求反而增加。文章以其为例，分析AI难取代的原因，如基准测试局限、医生工作复杂、AI落地困难等。

AI编程竞争激烈，快手发布AI编程产品矩阵进军该赛道。其“三位一体”矩阵含顶尖自研模型、智能开发工具和MaaS平台，KAT - Coder - Air轻量版免费。各产品亮点多，助力构建AI编程新生态。

Claude Opus 4.1被曝正在内部测试，或重点提高推理和规划能力。Anthropic过去7个月ARR涨至50亿美元，API收入超OpenAI。但它收入依赖AI编程，面临GPT - 5、Grok等竞争。

谷歌推出编程智能体Jules，进入全球测试阶段，有Google账户的开发者可免费试用每日5次。它基于Gemini 2.5 Pro模型，能写代码、修Bug等，还可连GitHub简化流程，预计今年晚些时候推更多功能和企业版。

Anthropic升级skill - creator，让普通人创建skill更友好且有效。将测试等机制引入创作，能验证skill有效性。还支持多智能体并行测试、A/B测试，优化触发描述，为未来自然语言定义skill过渡。

Cloudflare 分享发现 CUBIC 的 Rust 实现问题，该问题影响开源库 quiche。团队构建模拟环境测试，发现 CUBIC 陷入恢复循环，用 Reno 测试排除广泛问题，最终一行代码修复，使测试通过率达 100%。

Calvin曾带队构建编程Agent Codex，如今日常用Claude Code。他和Garry Tan在播客聊了编程Agent的产品哲学差异、分发逻辑等。Claude Code拆分上下文表现出色，LLM成开发者工具推荐引擎，还探讨了构建、使用编程Agent的要点。

前沿模型在SWE - bench Verified测试中得分超80%，但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测，规模是前者18倍，模型得分全跌破45%。还提出SearchSWE框架，结果显示搜索与编码能力融合待提升。

AI编程工具Windsurf突遭Anthropic切断Claude 3.x系列模型API访问权限，CEO称仅获五天通知。用户大量退订，Windsurf官方激烈回应，采取应对措施，AI编程领域大战正酣。