「安全推理」共找到 2868 篇相关文章
AI越会思考，越容易被骗？「思维链劫持」攻击成功率超过90%
独立研究者Jianli Zhao等人新研究发现，思维链劫持攻击通过在有害请求前填充无害解谜推理序列，能对推理模型实现越狱攻击。在HarmBench基准上，对多模型攻击成功率超90%，揭示思维链推理存在新安全漏洞。
GPT正面对决Claude！OpenAI竟没全赢，AI安全「极限大测」真相曝光
OpenAI和Anthropic罕见合作，测试双方模型在幻觉等四大安全方面的表现。这场合作是AI安全的里程碑，百万用户每天的互动推动安全边界扩展。文中详细对比了GPT和Claude模型在各安全测试中的表现。
1亿美元买不走梦想！但只因奥特曼这句话，他离开了OpenAI
全球AI军备竞赛烧掉3000亿美元，但真正研究「对齐问题」的人不足千人。Anthropic核心成员Benjamin Mann揭秘，2020年底OpenAI安全团队因安全优先级降低集体出走。他拒绝扎克伯格1亿美元邀约，强调AI要把安全放首位。
389万寻找翁荔继任者！OpenAI紧急开招安全防范负责人
OpenAI在连遭安全指控后，豪掷约389万元+股权急招安全防范负责人，要制定执行安全防范框架。此前其安全团队负责人更迭频繁，此次招聘是否‘应激之举’待商榷。
智能体的致命三要素及六种安全设计模式
智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。
Anthropic "泄露"Claude Mythos 最强模型到底有多猛？
Fortune爆出Anthropic因CMS配置失误，致新模型Claude Mythos信息泄露。该模型有阶跃式进步，在多领域表现超前代，网络安全能力突出。此事反映AI迭代快但安全待提升，安全成模型评估关键。
AI真的需要「像人类」那样思考吗？AlphaOne揭示属于大模型的「思考之道」
近年大模型在推理任务有进展，但缺乏推理节奏调控能力。伊利诺伊大学厄巴纳 - 香槟分校和加州大学伯克利分校研究提出 AlphaOne 框架，引入 α - moment 实现无需训练的推理调控，实验显示其能提升准确率和效率。
Claude Code 推出安全审计插件，边写代码边抓漏洞
Claude Code上线官方安全插件security - guidance，能在写代码时自动识别并修复安全漏洞。它分三层防线，覆盖多种漏洞类型，还支持自定义安全策略，安装方便，但只是辅助工具。
ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？
当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。
为大模型思考装上“猎鹰重装引擎” ：腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。