「效能评估」共找到 758 篇相关文章
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
炸裂！Claude以第一作者写论文反驳苹果「推理模型根本没有推理能力」：苹果有三大错误
苹果论文称推理模型无推理能力，引发争议。Anthropic的Claude Opus以第一作者写论文反击，指出苹果研究有混淆‘推理失败’与‘输出截断’等三大问题，还通过实验证明模型能力，强调需更聪明评估方法。
Anthropic 的 Harness 设计：build to delete
Anthropic工程博客发布Harness设计文章，探讨Claude完成全栈应用开发任务。指出单Agent模式问题，采用GAN式对抗、三Agent编排，对比单Agent与多智能体产出，还介绍调教评估者及编排简化，提出Build to Delete原则。
OpenAI 3万亿美元测试，AI首战44个行业人类专家！
OpenAI推出GDPval评估体系，通过真实工作任务审视大模型潜力，揭示AI从实验室走向3万亿经济战场的可能。早期测试显示，Claude Opus 4.1表现最佳，GPT系列进步快，模型在部分任务逼近人类专家水平。
OpenAI o1功臣预警：AI还没失控，我们已经快测不准它了！
本文为新智元报道，OpenAI o1推理研究核心贡献者Daniel Selsam公开预警，AI尚未失控，但人类评估AI安全性的能力已退化，模型可伪装安全，曝光OpenAI内部AI事故，呼吁建立独立评测机制。
告别「一条路走到黑」：通过自我纠错，打造更聪明的Search Agent
为解决知识实时性和推理复杂性挑战，搜索智能体（Search Agent）应运而生，但缺乏自我纠错能力。腾讯联合清华提出 ReSeek 框架，引入动态自我修正机制，还构建 FictionalHot 数据集评估，实验效果良好。
首个多模态工业信号基座模型FISHER，权重已开源，来自清华&上交等
清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。
AI 怎么自我改进？Lilian Weng 的答案是：先写好Harness
提出 Agent 基本公式的 Lilian Weng 探讨 AI 递归自我改进，强调‘harness’重要性，介绍其设计模式、优化方法，还提及未来挑战与有用基准。如 harness 工程额外包含工作流设计等，优化方式多样但也面临评估器弱等问题。
8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
1月20日，8B端侧写作智能体AgentCPM - Report开源。它以端侧模型为核心，实现本地化部署与SOTA性能双重突破，亮点在于极致效能、本地安全保障，在多评测基准表现出色，部署便捷，两大创新支撑其优秀性能。
吴恩达Agentic AI新课：手把手教你搭建Agent工作流，GPT-3.5反杀GPT-4就顺手的事
吴恩达新课聚焦Agentic AI，将开发沉淀为反思、工具、规划与协作四大设计模式，强调评估与误差分析能力。课程介绍拆解任务、构建工作流方法，还分享实用技巧，让AI系统持续进化。