「编码基准」共找到 1235 篇相关文章
专业医生远不如AI模型？OpenAI推出医疗开源测试基准HealthBench，o3表现最强
OpenAI推出医疗开源测试基准HealthBench，由262位多国医生合作打造，含5000段真实健康对话。评估显示o3综合表现最佳，顶尖AI处理任务能力超无辅助医生，HealthBench更真实专业有区分度，但也有局限。
ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码，多项任务远超RoPE
长文本能力对语言模型重要，但现有模型训练窗长有限，流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足，提出傅里叶位置编码FoPE，提升长文本泛化能力，实验表现超RoPE。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
一篇Self-Evolving Coding Agents最新综述
当今编码智能体部署后大多静止，自进化编码智能体应运而生，可让Agent通过交互更新自身。文章介绍了其概念、分类，探讨组件进化机制、时机及评估方法，也提及带来的新挑战。
大佬深度解析：Coding Agent的底层运行逻辑是什么？
本文由AI领域知名学者Sebastian Raschka撰写，探讨编码智能体及其编排的设计、工作原理和组件协同。指出智能体周边支撑系统重要性不亚于模型本身，详细阐述编码智能体六大核心构建模块。
“最强编码模型”上线，Claude 核心工程师独家爆料：年底可全天候工作，DeepSeek不算前沿
Anthropic 开发者大会发布 Claude 4 ，含 Opus 4 和 Sonnet 4 型号，在基准测试表现出色。核心工程师预测年底软件工程智能体能力，谈 RL 及 DeepSeek，还提到模型自我意识、推理计算瓶颈等问题。
AI会做题，却未必能自进化：字节Seed等提出三项新基准
字节跳动Seed联合多家机构，针对当前递归式自我改进AI依赖外部给定目标反馈的缺陷，提出三项新基准，从三个核心维度研究Agent自进化能力，揭示了当前AI自进化的核心瓶颈。
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。
Stripe 发布基准测试：AI 智能体可开发集成方案，但校验环节存在短板
Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。