搜索：语言模型安全

「语言模型安全」共找到 8423 篇相关文章

AI越会思考，越容易被骗？「思维链劫持」攻击成功率超过90%

独立研究者Jianli Zhao等人新研究发现，思维链劫持攻击通过在有害请求前填充无害解谜推理序列，能对推理模型实现越狱攻击。在HarmBench基准上，对多模型攻击成功率超90%，揭示思维链推理存在新安全漏洞。

文章指出玩Agent久了会出现问题，很多人简单将其视为“模型+工具”组合远远不够。以OpenDev为例，介绍了Harness架构，包括核心理念、扩展ReAct循环、上下文工程等，还提及安全架构、多模型路由等内容。

开源AI编程工具OpenCode亮相，具备原生终端界面、多会话支持，兼容75种以上模型，提供桌面版和IDE插件。它允许沿用付费订阅，内置免费模型，与多种LSP服务器整合，适配多种编辑器，采用‘隐私优先’架构设计。

OpenAI悄悄上线ChatGPT Translate挑战谷歌翻译，该工具支持超50种语言，有翻译后「二次加工」能力，但功能尚不完善。谷歌则高调开源TranslateGemma模型，支持55种语言，效率惊人，12B参数超越27B基线。

上周，月之暗面发布并开源 Kimi K2 Thinking，主打“模型即 Agent”，引发广泛关注。今日凌晨，杨植麟等团队成员在 Reddit 开展 AMA 活动，回应 K2 Thinking 相关问题，如 KDA 机制应用、训练成本、速度与准确性平衡等。

Google DeepMind研究《通过内在自我批评提升大语言模型的规划能力》，不借助外部验证器，让LLM反复“自评+重写”，使Blocksworld准确率从49.8%升至89.3%，还介绍了方法及跨模型验证情况。

本文对比OpenAI对异星机器心智的风险预警，介绍中国乐享科技基于仿生神经科学思路，研发出面向机器人的以太大模型，已完成多场景验证，将举办户外开放直播测试，探索具身智能新路线

在NeurIPS 2025论文中，南京理工大学等校研究团队提出VIST框架，为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制，让模型具备选择性阅读能力，减少Token需求和内存使用。

围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。

大语言模型成AI应用基础设施，黑盒服务模式引发信任危机。研究者提出IMMACULATE审计框架，能在不暴露模型信息、仅1%额外开销下，验证黑盒LLM API执行完整性，检测违规行为，相关论文与代码已公开。