「防御评估」共找到 817 篇相关文章
Anthropic实践发现：Multi-Agent系统的核心仍然是Prompt设计！
近期Anthropic分享构建多智能体研究系统最佳实践，提出8条研究智能体的提示工程与评估原则。其架构采用协调者 - 工作者模式，与传统RAG方法不同，使用多步骤搜索动态查找信息。
AI打假AI，拿下SOTA丨厦大&腾讯优图
厦门大学联合腾讯优图实验室团队提出AIGI - Holmes方法，创新性采用“大模型+视觉专家”协同架构，解决现有AIGI检测技术瓶颈，在检测、解释能力及鲁棒性评估上均取得最优效果。
Claude新模型危险，鲍威尔召集华尔街紧急开会！全美安全股暴跌2万亿
Anthropic的新模型Mythos能力超强，被指或对金融业造成重大风险。鲍威尔和贝森特紧急召集华尔街开会预警。消息传出，美国软件板块暴跌，SaaS领域近2万亿美元市值蒸发。Anthropic拒绝向公众发布该模型，启动防御项目。
攻克「恶意投毒」攻击！华南理工联合霍普金斯和UCSD，连登TPAMI、TIFS顶刊
华南理工大学计算机学院AI安全团队联合国际高校，聚焦联邦学习中防范恶意投毒攻击。提出FedID和Scope两种创新防御方法，前者用多种度量标准和动态加权检测恶意梯度，后者通过逐维归一化等揭示后门维度，均有良好效果。
6个做AI和ML的奇技淫巧
作者整理了6个做AI和ML的技巧，如提前结束评估、超参数过度优化、精心挑选数据集等，指出现在90%的模型可能都用到其中不止一招，还介绍了自己用AI采集资讯发布到知识星球。
不受控的 Agent ，凭什么上生产系统？
本文探讨AI Agent落地企业生产系统的核心痛点：Agent输出失控风险高，指出模型能力不代表落地可用性，介绍了业内首套以评估为核心的Agent全生命周期部署方法论Agent DLC，附真实落地案例。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
可攻可防，越狱成功率近90%！六大主流模型全中招 | EMNLP'25
研究人员聚焦大型语言模型（LLMs）安全漏洞，提出全新越狱攻击范式SCP与防御策略POSD。SCP基于DTD机制，在6个主流模型上平均攻击成功率达87.23%；POSD能有效抵御攻击，还提升模型泛化能力。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。
炸裂！Claude以第一作者写论文反驳苹果「推理模型根本没有推理能力」：苹果有三大错误
苹果论文称推理模型无推理能力，引发争议。Anthropic的Claude Opus以第一作者写论文反击，指出苹果研究有混淆‘推理失败’与‘输出截断’等三大问题，还通过实验证明模型能力，强调需更聪明评估方法。