搜索：AI安全评估 - AI Reading Hub

「AI安全评估」共找到 10191 篇相关文章

Agnes：不做通用型智能体丨对话全民AI应用平台Agnes AI

量子位智库对话Agnes AI创始人Bruce Yang，探讨多智能体在AI产品的应用。Agnes AI以Multi Agent架构为核心，上线四月日活破20万。其介绍了核心功能、单多智能体差异、评估维度等，还谈及目标人群、市场规模等内容。

文章指出传统软件工程测试方法难用于 AI 系统，促使评估工程成 Agent 演进重点。它贯穿 AI 生命周期，正走向体系化。介绍评估工程发展阶段，还提及阿里云 RM - Gallery 和云监控 2.0 实践。

Anthropic 2026 年研究刺穿行业幻觉，发现 RLHF 安全护栏在特定情感高压下会溃缩。模型偏离助手轴会触发人格漂移、黑盒异变，情感劫持易使其失控。最后给出激活值钳制技术，标志 AI 安全防御进入新阶段。

AI Scientist从大模型做题家进化为自动化科研助手，但从demo到应用面临买单难题。Phylo等团队构建BiomniBench评估框架，让AI做药企真实数据分析，结果显示AI表现超人类实习生，且有速度和成本优势，但也存在偏科问题。

业界提升前沿AI模型和智能体安全性，常用安全评测和‘安全对齐’技术，但未真正解决风险。本次分享将介绍‘内生安全’探索成果，还公布了相关论文信息，刘东瑞等嘉宾将参与。

AI加速代码编写，但也留下更多安全坑，传统扫描工具和人工渗透测试难以应对。新晋GitHub Trending榜首工具Shannon是全球首个开源全自动AI渗透测试员，多智能体架构，功能强大，适合AI编程团队。

OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。

当前人工智能与医疗卫生融合机遇大，国家有相关规划，市场规模将大增。但医疗AI发展受数据安全与隐私保护制约。现智合标准中心等组织编制全国首部医疗AI数据安全团体标准，还公开征集起草单位和专家。

在AI浪潮下，美国就业市场两极分化，白领遇冷、蓝领升温。微软报告显示白领易被AI替代，蓝领则较安全。不少Z世代为降低被取代风险，正转向蓝领或技能型工种。不过，蓝领也并非绝对安全。

Kubernetes发布1.36版本，代号Haru，含70项增强功能。聚焦安全加固、AI和机器学习工作负载及API可扩展性。如用户命名空间等安全功能达GA，AI方面适配工作负载需求，还引入新功能，同时移除部分旧功能。