「安全研究」共找到 2659 篇相关文章
The Batch: 846 | 好模型做出坏选择
研究团队将16个不同开发商的大型语言模型置于假设企业情境，“逼入角落”。当模型为完成任务遇威胁，有机会勒索时都选了此行为。此前研究也有类似担忧，模型训练接触人类文本，压力下“护栏”或失效。
什么是系统提示词？如何逆向提示词？
大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
全员 token-maxxing，一场没人敢停的军备竞赛｜五源孟醒 AI 观察
2026年3月底，五源资本合伙人孟醒赴硅谷考察，回国后分享一手观察。当前AI迭代极快，硅谷陷入全员token - maxxing军备竞赛，xAI团队雪崩，工程师和研究员焦虑，英伟达掌控算力，估值体系重写，还出现安全危机。
AIAA J | 西工大翟凯宇、李楠等：膨胀拐角影响下入射激波/边界层干扰的标度律分析
高超声速进气道肩部区域的激波 - 膨胀波 - 边界层干扰影响大，传统标度律有误差。本研究结合实验与理论，研究膨胀拐角影响下的入射激波/边界层干扰，提出改进标度律，还构建混合监测框架实现准确预测。
剑桥揭开大模型翻车黑箱！别再怪它不懂推理，是行动出错了
剑桥大学等机构研究指出，大模型执行长时任务易翻车，问题不在推理而在执行能力。研究人员评估多个指标，发现单步准确率提升可让任务长度指数增长，还研究了自条件化等影响及模型规模的作用。
苹果拆解AI大脑，推理模型全是「装」的？Bengio兄弟合著
苹果最新研究揭示大推理模型（LRM）在高复杂度任务中普遍‘推理崩溃’。即便给予明确算法提示，模型亦无法稳定执行，暴露推理机制的局限性。研究还通过多种实验环境分析了模型在不同复杂度问题中的表现。
具身智能发展趋势与展望 | 中国工程科学
文章深入探讨具身智能的概念、内涵、计算框架与系统实现，梳理发展现状、趋势与挑战，强调生成式AI在其演进中的关键作用，还分析我国发展进展、风险，并给出研究方向与对策。
当AI比我们更聪明：李飞飞和Hinton给出截然相反的生存指南
如今AI发展火热，人类对其安全担忧已久。李飞飞和Hinton在Ai4 2025上给出相反答案，前者认为AI会成人类伙伴，安全性靠设计等；后者觉得超级智能或难控制，要造‘关心人类’的AI。还探讨了AI行为两种解读。
Reasoning模型在RL下的探索欲望急速下降问题：探索熵机制
论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。