搜索：自动评测体系

「自动评测体系」共找到 1688 篇相关文章

不止修bug：Agentic Coding评测走向复杂feature交付新阶段

中国科学院自动化研究所联合华为提出 FeatureBench，构建端到端基础设施并开源。它从单元测试出发构造评测任务，引入多种机制保障任务可执行、可验证，能有效区分模型能力，还提供易用的评测流程。

2026年全球自动驾驶竞赛白热化，Waymo高歌猛进，特斯拉遇困境。滴滴与清华合作，成立实验室，发布STAPO算法，打通产学研链路。滴滴自动驾驶低调务实，掌握全栈技术，将出海阿联酋，其主业优势保障稳健发展。

随着扩散模型广泛应用，其安全问题凸显。天津大学团队论文系统梳理文生图模型攻击方式、风险类型、威胁场景与防御体系，指出当前防御不足，需建立更体系化防护体系。

Reddit 上一个云成本恐怖故事引发热议，一集群遭 DDoS 攻击自动扩展，72 小时产生 12 万美元账单。Zero Cloud Waste 创始人给出预防措施，各方也发表看法，凸显需 FinOps 战略配合自动扩缩。

Anthropic发工程博客指出，AI编程评测排行榜上排名前列的模型分差小，而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同，资源配置影响评测结果，排行榜分数差距或因硬件。

随着新一代漏洞检测工具出现，漏洞检测走向理解业务风险。腾讯悟空安全团队联合多机构发布 VulnGym 评测基准，基于真实漏洞构建，覆盖 400+ 漏洞路径，71.2% 为业务逻辑漏洞，支持确定性评测。

传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。

文章指出不同学科对 Nature、Science（N/S）态度差异大，基础学科不看重，应用学科推崇。原因在于学科生态差异，N/S 是传播器，下游学科需其传播成果，大奖评价与 N/S 体系不同，国内不应将其‘工具化’。

本文是甲小姐对话新奥能源程路，探讨能源领域“自动驾驶”。程路认为能源转型正当时，AI是关键。新奥泛能网构建数字能源运营系统，提出“能源领域的自动驾驶”分级概念，还介绍了数据处理、算法及落地应用等情况。

现有个性化助手评测基准与真实用户-助手交互脱节，来自复旦大学等的研究人员提出 LifeSim 框架及 LifeSim-Eval 评测方法。实验显示主流 LLM 处理显性需求尚可，隐性意图识别等方面短板明显。