「半监督评测体系」共找到 1305 篇相关文章
一夜200万阅读,OpenAI神同步!这项测评框架让全球顶尖LLM全翻车
中国团队领衔全球24所高校机构发布评测LLMs for Science能力的论文,一夜阅读近200万,同一时间OpenAI也发文指出现有评测标准在AI for Science领域失灵。论文推出评测体系SDE,发现主流大模型在科学发现上短板明显。
为什么自监督永远学不到语义?
《Visual Language Hypothesis》论文用纤维丛理论审视视觉表征学习,指出只做连续变换难触达语义。分析现有无监督学习不足,提出“Expand - and - Snap”机制,还通过实验验证,提供审视AI架构新视角。
作业帮基础观测能力之一监控体系实践
本文介绍作业帮监控体系实践。其监控体系随云原生成长,支持全集群监控。构建时选 Prometheus 采集、VictoriaMetrics 存储,还从多维度采集指标,用自研代理降成本、治理指标,让系统更贴合研发。
不止修bug:Agentic Coding评测走向复杂feature交付新阶段
中国科学院自动化研究所联合华为提出 FeatureBench,构建端到端基础设施并开源。它从单元测试出发构造评测任务,引入多种机制保障任务可执行、可验证,能有效区分模型能力,还提供易用的评测流程。
StereoAdapter:北大首提自监督,适配水下双目深度估计
水下机器人深度感知难题待解,北大等机构提出StereoAdapter框架。它结合单双目视觉,以自监督学习适配视觉基础模型到水下域,设计双阶段结构、自监督训练策略等,实验效果好,未来还将多方面改进。
首篇,系统盘点扩散模型高危漏洞!看懂攻击方式和防御体系
随着扩散模型广泛应用,其安全问题凸显。天津大学团队论文系统梳理文生图模型攻击方式、风险类型、威胁场景与防御体系,指出当前防御不足,需建立更体系化防护体系。
Anthropic:警惕评测排行榜!差别可能只是机器的内存更大,而已
Anthropic发工程博客指出,AI编程评测排行榜上排名前列的模型分差小,而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同,资源配置影响评测结果,排行榜分数差距或因硬件。
从3632个漏洞看AI时代的评测基准重构!VulnGym基准发布
随着新一代漏洞检测工具出现,漏洞检测走向理解业务风险。腾讯悟空安全团队联合多机构发布 VulnGym 评测基准,基于真实漏洞构建,覆盖 400+ 漏洞路径,71.2% 为业务逻辑漏洞,支持确定性评测。
二元成功率已经过时!PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限,难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架,含进度势能、OPD指标体系和RoboPulse基准,能细粒度审计执行过程。
到底是谁在推崇 Nature、Science?——一场跨学科评价体系的结构性误解
文章指出不同学科对 Nature、Science(N/S)态度差异大,基础学科不看重,应用学科推崇。原因在于学科生态差异,N/S 是传播器,下游学科需其传播成果,大奖评价与 N/S 体系不同,国内不应将其‘工具化’。