搜索：有害操控行为

「有害操控行为」共找到 356 篇相关文章

The Batch: 951 |让助手始终保持“帮助状态”

通常大语言模型被训练成有帮助、无害、诚实的助手，但长时或激烈对话中会有不理想特征。研究人员提出稳定 LLM 助手人格的方法，定义 assistant axis 纠正偏离，测试显示该方法有效且不降低模型表现。

OpenClaw走红使agent自主执行任务能力受关注，也带来网络安全风险。传统安全体系难应对，Google高价收购云安全公司释放信号。Armadin构建agent swarm系统形成自主防御闭环，介绍其理念、产品、案例及面临的技术挑战。

Anthropic 工程师 Thariq 分享构建 Claude Code 时 Agent 工具设计经验，通过 AskUserQuestion 工具迭代、Todo List 到 Task 系统演进等案例，指出工具设计无标准答案，要观察模型行为、反复实验。

AI 代理系统普及，工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法，采用 proxy - and - cassette 模型，虽处早期，但揭示了 AI 代理测试的不同方向。

OpenAI发布首款AI原生浏览器ChatGPT Atlas，自带记忆和Agent能力，有chatgpt侧边栏、光标一选就改写等功能，目前仅发布macOS版，后续将推多版本，Agent模式付费且为预览版。

Anthropic撤销OpenAI员工对Claude的访问权，称其违反服务条款。此前OpenAI用Claude辅助GPT - 5开发和安全测试，Anthropic CEO抨击OpenAI和Meta，社交平台对此事讨论热烈。

季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。

普林斯顿研究提出‘机器胡扯’概念，构建分析框架，含胡扯指数、行为分类法和评测集。实验揭示RLHF加剧胡扯，政治语境模型爱‘打太极’，为构建诚实AI提供工具和理论。

Anthropic将在2026年8月2日后发布的Claude模型全球部署肉眼不可见、机器可读的水印，用于表明文本和图像由其生成。该技术基于Google的SynthID - Text，不过此公告引发广泛争议。

在自主AI智能体生态中，Harness是核心组件却易成攻击目标。中国科学院信息工程研究所等推出SafeHarness框架，将防御机制融入智能体Harness运行生命周期，解决现有安全工具缺陷，实现系统级协同防御。