「自动评测体系」共找到 1694 篇相关文章
谷歌 DeepMind 推出 CodeMender：自动修复代码的智能代理
谷歌DeepMind推出CodeMender，这一AI驱动的智能代理能自动检测、修复并加固软件漏洞。它结合多种技术推理程序行为，生成修复方案经自动测试和人工审核后提交。社区反响积极，长期影响待察。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
能自动把PDF转换为可填写表单的开源工具，实用可落地。
CommonForms是能自动将PDF转换为可填写表单的开源工具，通过检测文本框等自动添加交互字段。它基于YOLO11做目标检测，支持CLI和API使用，有多种功能特点，能高效处理转换。
12毫秒暴露自动驾驶致命缺陷，北航新研究实现场景感知的动态物理对抗攻击｜TPAMI2025
近日部分L3级自动驾驶车型获批上路，但自动驾驶感知系统存在缺陷。北航等机构提出DynamicPAE框架，实现场景感知的动态物理对抗攻击，解决多维度挑战，在多场景表现优异，被TPAMI2025录用。
AI数据工程师在应用中如何"返璞归真"
文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限，指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁，并介绍MktAI知识体系建设。
AIGC全生命周期业务风控白皮书，从备案到运营的合规与安全实践
2025年《人工智能安全治理框架》2.0版发布，凸显AI安全重要性。数美科技发布《AIGC全生命周期业务风控白皮书》，构建全生命周期业务风控体系，涵盖备案攻略、评测要点、账号与内容风控等，还有实战案例。
人大高瓴-华为诺亚：大语言模型智能体记忆机制的系列研究
中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力，形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法，还构建评测榜单、实现工具包。
从日志学习到风洞验证：构建 GPU 集群的 AI Native 稳定性闭环
文章介绍了面向新引入GPU芯片稳定性验证的AI Native治理体系“算力风洞”。其通过厂商环境自动复刻等手段，将新芯片适配效率提升10倍以上。体系分认知、验证、进化三层，形成完整闭环，推动智算集群稳定性建设升级。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。