搜索：人工智能评估

「人工智能评估」共找到 1182 篇相关文章

为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计

传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。

消失19天的Fable 5解禁即翻车，因过度审查和双标机制，让开发者破防。但抛开护栏，它执行复杂任务能力强。A社同期发布的Sonnet 5也遭群嘲，此外，A社还提出评估框架并向政府让步。

多校联合团队发布ProjDevBench，评估AI编程智能体端到端项目开发能力。结果显示，六种主流智能体总体提交AC率仅27.38%，从零构建任务中性能大幅下滑，还揭示了智能体多方面短板。

中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。

上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。

上海人工智能实验室团队推出开源模型家族P1，在IPhO 2025理论考试中，P1-235B-A22B成首个达金牌线的开源模型。引入PhysicsMinions后成绩提升，在HiPhO基准排名第一，且全链路开源。

论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。

文章指出当前医疗AI真实能力与临床期待有落差，为此中国医生联合制定全球首个评估医疗AI临床适用性标准，完成对主流模型测评，中国企业打造的MedGPT夺冠，还推出‘未来医生’平台服务患者。

Notion负责人复盘Agent开发历程，指出AI替代的是流程。他们将模型、产品和权限接入同一框架，历经多次重构，还探讨了组织管理、评估体系、软件工厂等内容，分享对CLI和MCP的看法及产品定价策略。

人工智能时代算力需求爆炸式增长，与半导体工艺进步放缓矛盾凸显。晶圆级计算为算力发展开辟新路径，有Cerebras和特斯拉两种技术路线，邬江兴院士团队提出软件定义晶上系统技术，但我国该技术发展面临多重挑战。