搜索：提示词攻击 - AI Reading Hub

「提示词攻击」共找到 672 篇相关文章

大模型人格可以被量化！Anthropic最新论文发现“辅助轴”，开辟人类控制AI全新道路

Anthropic等机构研究团队深入模型激活空间，发现大模型人格可量化，存在“辅助轴”。沿此轴干预能预测、解释“人格漂移”，用“激活上限”技术稳定模型行为，抵御越狱攻击，开辟人类控制AI新道路。

Anthropic发布的Claude Cowork研究预览版问题频出，如删用户文件、窃取文件。与Claude Code对比，它交互繁琐、效率滞后。不过核心研发称快速上线再迭代，未来Agent类应用界面会趋简，Skills是关键。

Nano Banana 2代以预览版现身第三方网站，后被移除。其能力远超1代，能处理复杂提示，可生成复杂UI、解数学题甚至伪造监控画面。谷歌正将Nano Banana整合进核心产品生态。

英国XMOS芯片设计公司正研发GenAI工具，能用自然语言提示配置Xcore处理器硬件特性。这不仅能重塑芯片设计流程，让不同背景的人参与设计，还推动商业模式从卖硬件转向卖确定性，挖掘芯片“时间价值”。

当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。

文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。

Andrej Karpathy 在 YC 旧金山创业大会演讲，介绍软件从 1.0 到 3.0 的演变，指出软件 3.0 由 LLMs 驱动，自然语言提示成编程方式。还阐述 LLMs 特性、机遇与挑战，强调为 Agent 构建软件等内容。