「安全评测」共找到 1480 篇相关文章
揭秘大模型评测：如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程，包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战，如设计维度和集，还给出评测方法及案例，像蚂蚁评测集、业务自动化评测。
HarnessEval 来了！开启 RSI 时代的新评测范式！
过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。
如何在不牺牲生产力的情况下构建安全软件
安全与开发效率常冲突，Dorota Parad 在 QCon 旧金山大会分享构建安全软件之道。她主张减轻漏洞影响，抵制阻碍生产力的安全要求，与安全团队合作，还提及 BLISS 框架、CI/CD 管道增强安全等。
上海交大/上海AI Lab翟广涛：当评测不再重要，AGI就实现了
上海交通大学教授翟广涛认为完美的AI评测体系等同于通用人工智能。当下评测体系存在数据污染、原子化能力评测局限等问题，他主张回归‘以人为本’，团队提出相关框架和技术路径，目标是训评一体。
大模型微调评测入门：看懂这些指标，才知道模型好不好
文章指出大模型微调中很多新手重“调”轻“评”，评测是决定模型落地的关键。介绍分类和生成任务评测指标，给出实操步骤，还说明如何综合判断模型好坏，最后展望评测技术朝自动化等方向发展。
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。
刚刚，Claude Code推出自动安全审查功能，顺便干掉了10家安全创业
Claude Code推出自动化安全审查功能，有 `/security-review` 命令和GitHub Actions集成两大核心能力，能检测多种漏洞，与传统SAST工具比优势明显，还能解释问题并提供修复建议。
AI医生终于有了硬标尺！全球首个专病循证评测框架GAPS发布，蚂蚁联合北大王俊院士团队出品
蚂蚁健康与北大王俊院士团队发布全球首个大模型专病循证能力评测框架GAPS及评测集GAPS - NSCLC - preview，解决现有医疗AI评测局限，成果已应用于“蚂蚁阿福”，并客观评价了大模型临床能力。
用Rust重写OpenClaw，Transformer作者下场造了安全版「龙虾」
Transformer八子之一Illia Polosukhin用Rust构建安全版OpenClaw——IronClaw。他指出OpenClaw有数据和资金安全风险，IronClaw以安全为核心，有多项安全设计，未来还会增加策略验证等能力。
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。