「防御机制」共找到 958 篇相关文章
红杉中国xbench全球首发，AI智能体真实战力揭榜！
红杉中国推出全新AI基准测试工具xbench及相关论文，采用双轨评估体系和长青评估机制，首期发布两个核心评估集并综合排名，还提出垂类评测方法论。它能追踪模型能力与实际场景价值，解决现有评估难题。
手握1000项专利的“药物狂人”，为何在AI制药时代选择逆行？
手握约1000项专利的再生元联合创始人乔治·扬科普洛斯，在AI制药成热点时选择逆行，坚持内部研发、人类遗传学和基础生物学。他批评跟风，强调深入理解疾病机制，认为AI可增效但不能决定方向。
伦理防线不可靠！分布偏移诱导，大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。
Claude新模型危险，鲍威尔召集华尔街紧急开会！全美安全股暴跌2万亿
Anthropic的新模型Mythos能力超强，被指或对金融业造成重大风险。鲍威尔和贝森特紧急召集华尔街开会预警。消息传出，美国软件板块暴跌，SaaS领域近2万亿美元市值蒸发。Anthropic拒绝向公众发布该模型，启动防御项目。
锁定角色，「多主体」也可控！个性化文生图，给你PS般交互体验
LayerComposer革新个性化图像生成，能让用户如在Photoshop般操控元素位置、大小，解决传统方法交互性与多主体扩展难题。它有分层画布、锁定机制、模型–数据共设计三大特点，实验表现出色，未来将促进人机协同创作。
攻克「恶意投毒」攻击！华南理工联合霍普金斯和UCSD，连登TPAMI、TIFS顶刊
华南理工大学计算机学院AI安全团队联合国际高校，聚焦联邦学习中防范恶意投毒攻击。提出FedID和Scope两种创新防御方法，前者用多种度量标准和动态加权检测恶意梯度，后者通过逐维归一化等揭示后门维度，均有良好效果。
类R1训练不再只看结果对错！港中文推出SophiaVL-R1模型
DeepSeek - R1爆火后，类R1结果奖励训练范式引发推理热潮，但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1，引入‘思考奖励’机制，还用Trust - GRPO算法解决奖励欺骗问题。
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。