「安全机制」共找到 1705 篇相关文章
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
OpenAI这招太狠！AI从「躲猫猫」到「自爆黑料」，主打一个坦白
随着AI进入高风险场景，透明、安全变得重要。OpenAI提出「忏悔机制」，让模型回答后产出自我坦白报告，不影响主回答评分，只考察诚实，能提升不良行为可见性，目前仍处概念验证阶段。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
ChatGPT的记忆机制被公开了
OpenAI推出ChatGPT聊天历史记录记忆功能，默认关闭需手动开启，因未全面开放，技术大佬逆向工程破解机制。记忆系统分保存记忆、聊天记录等，体验反馈两极分化，有优势也有诸多bug。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
OpenAI、Anthropic、DeepMind联手发文：现有LLM安全防御不堪一击
OpenAI、Anthropic、Google DeepMind 联手发文，研究语言模型安全防御评估。指出现有防御评估有缺陷，提出通用自适应攻击框架，成功绕过 12 种防御机制，多数攻击成功率超 90%。
谨慎用OpenClaw：上海科技大学发布其全面安全体检报告
上海科技大学联合上海人工智能实验室对爆火的智能体OpenClaw做安全审计，在34个测试场景中，整体安全通过率58.9%，暴露出多方面问题，研究据此给出纵深防御策略。
好奇心之旅：Cursor代码库索引机制的学习笔记
作者作为高德信息工程团队AI先锋队一员，日常用Cursor开发，因好奇其代码库索引机制展开探索。介绍了Cursor索引工作流程、隐私安全等，还研究Merkle树、turbopuffer向量库及开源方案Continue。
ChatGPT 为什么越来越“懂你”？一文解析它背后的记忆机制
今年4月，OpenAI对ChatGPT记忆系统重磅升级，可参考过往对话提供个性化响应。软件工程师Eric Hayes拆解其双重记忆架构，推测实现机制，探索对用户体验的重塑。