搜索：学术评测体系

「学术评测体系」共找到 1293 篇相关文章

Embodied Arena：业界首个统一具身大脑评测平台重磅发布，30+模型全面对比揭示关键洞察

具身智能火热，研究者常感茫然。Embodied Arena评测平台上线，它全面统一且持续演进，涵盖22+基准测试和30+模型，构建评估体系，揭示关键洞察，为具身模型发展指引方向。

MindForger是桌面Markdown IDE，可构建私人知识体系。它能本地运行，掌控数据，有思考联想、知识图谱浏览等功能，能解决笔记混乱等痛点，适用于学术、项目管理等场景。

中国团队领衔全球24所高校机构发布评测LLMs for Science能力的论文，一夜阅读近200万，同一时间OpenAI也发文指出现有评测标准在AI for Science领域失灵。论文推出评测体系SDE，发现主流大模型在科学发现上短板明显。

本文介绍作业帮监控体系实践。其监控体系随云原生成长，支持全集群监控。构建时选 Prometheus 采集、VictoriaMetrics 存储，还从多维度采集指标，用自研代理降成本、治理指标，让系统更贴合研发。

中国科学院自动化研究所联合华为提出 FeatureBench，构建端到端基础设施并开源。它从单元测试出发构造评测任务，引入多种机制保障任务可执行、可验证，能有效区分模型能力，还提供易用的评测流程。

Nature揭露AI爬虫疯狂「啃食」学术网站数据，致服务器瘫痪。DiscoverLife、BMJ等受影响，运营方难防「坏爬虫」，急需国际协议规范AI数据使用。

约翰霍普金斯助理教授Anand Bhattad用亲身经历，总结给博士生的硬核生存指南，揭秘学术潜规则，如出身门槛、指标焦虑等问题，并给出突围策略和主动方法。

随着扩散模型广泛应用，其安全问题凸显。天津大学团队论文系统梳理文生图模型攻击方式、风险类型、威胁场景与防御体系，指出当前防御不足，需建立更体系化防护体系。

Anthropic发工程博客指出，AI编程评测排行榜上排名前列的模型分差小，而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同，资源配置影响评测结果，排行榜分数差距或因硬件。

随着新一代漏洞检测工具出现，漏洞检测走向理解业务风险。腾讯悟空安全团队联合多机构发布 VulnGym 评测基准，基于真实漏洞构建，覆盖 400+ 漏洞路径，71.2% 为业务逻辑漏洞，支持确定性评测。