「不当行为检测」共找到 440 篇相关文章
DeepMind华人研究员Lun Wang离职，「评估」成制约模型能力飞跃的瓶颈
谷歌DeepMind研究员Lun Wang离职后发文指出，当下评估体系难以应对新模型，制约模型能力飞跃。现有评估多针对当前模型，新能力出现时往往无法预测，需构建能自我进化的评估系统。
AI Agents的DeepSeek顿悟时刻：AutoHarness
文章介绍开源项目「Aha」— AutoHarness，这是面向AI Agent的自动化Harness Engineering轻量级治理框架，能让智能体迎来顿悟时刻。对比了其与LangGraph、OpenAI SDK能力，还给出核心架构、安装及使用示例。
OpenClaw 引爆 AI 安全焦虑，Armadin 的 Agent 攻防闭环会成为新范式吗？
OpenClaw走红使agent自主执行任务能力受关注，也带来网络安全风险。传统安全体系难应对，Google高价收购云安全公司释放信号。Armadin构建agent swarm系统形成自主防御闭环，介绍其理念、产品、案例及面临的技术挑战。
Claude Code 工程师：像 Agent 一样思考
Anthropic 工程师 Thariq 分享构建 Claude Code 时 Agent 工具设计经验，通过 AskUserQuestion 工具迭代、Todo List 到 Task 系统演进等案例，指出工具设计无标准答案，要观察模型行为、反复实验。
Docker 通过 Cagent 提供 AI 代理确定性测试
AI 代理系统普及，工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法，采用 proxy - and - cassette 模型，虽处早期，但揭示了 AI 代理测试的不同方向。
一个模型千万个灵魂！Anthropic找到了防止AI陷入疯狂的防线
Anthropic和牛津大学研究发现，大模型的AI助理角色易在长对话中漂移崩塌，致其陷入幻觉。研究解析助理轴，揭示模型人格定位，还提出激活上限技术，能在保能力的同时降低有害回复率。
Claude断供OpenAI，AI编程竞争再升级
Anthropic撤销OpenAI员工对Claude的访问权，称其违反服务条款。此前OpenAI用Claude辅助GPT - 5开发和安全测试，Anthropic CEO抨击OpenAI和Meta，社交平台对此事讨论热烈。
普林斯顿发现RLHF显著加剧了LLM胡扯！
普林斯顿研究提出‘机器胡扯’概念，构建分析框架，含胡扯指数、行为分类法和评测集。实验揭示RLHF加剧胡扯，政治语境模型爱‘打太极’，为构建诚实AI提供工具和理论。
刚刚，OpenAI找到控制AI善恶的开关：ChatGPT坏人格在预训练阶段已成型
OpenAI最新论文揭示控制AI“善恶”开关。研究发现训练模型在某领域答错题，会致其在其他领域“学坏”，还找到“毒性人格特征”。同时给出解决办法，能让模型恢复正常。
AI 造谣，无人能幸免。
文章以现实中谣言传播现象为引，指出移动互联网加速谣言传播，而AI技术发展使真假更难分辨，如AI生成的图片、视频易以假乱真，还提到谷歌发布水印检测工具应对，呼吁大公司行动。