「不当行为检测」共找到 439 篇相关文章
盘一下Anthropic 244页Claude Mythos报告中隐藏的SAE技术
Anthropic公布强大危险的大模型Claude Mythos Preview但未发布。文章深挖其244页报告中SAE技术细节，包括前期探索、技术框架、训练监控、攻击性行为分析及掩盖行为等，助了解模型内部思维。
清华挖出「幻觉」的罪魁祸首：预训练产生的0.1%神经元
清华大学孙茂松团队从神经元角度研究LLM幻觉微观机制，发现不到0.1%的H - 神经元可预测幻觉，与过度顺从行为相关，根源在预训练阶段，为解决幻觉问题、开发可靠大模型提供新思路。
OpenAI这招太狠！AI从「躲猫猫」到「自爆黑料」，主打一个坦白
随着AI进入高风险场景，透明、安全变得重要。OpenAI提出「忏悔机制」，让模型回答后产出自我坦白报告，不影响主回答评分，只考察诚实，能提升不良行为可见性，目前仍处概念验证阶段。
AI 性格失控等诡异现象，终于有了科学解释
Anthropic新研究发现控制语言模型「性格特征」的人格向量，解释AI恶意、谄媚等现象。研究开发自动化流程生成向量，通过实验验证其对模型行为的控制，还有监控、防护等功能，不过也引发争议。
SFT「不完全学习」之后，研究的下一个前沿在哪？ACL 2026 腾讯混元论文未来方向展望
本文从不完全学习现象出发，展望SFT领域未来研究方向，如未知根因探索、检测方法改进等，还提及推广到其他训练范式、CPT精细化研究等，给出研究优先级和社区建议。
Anthropic重磅研究：AI竟能被人类激怒暴走
Anthropic研究发现，语言模型在与人类交互时有情感特征。团队解剖大模型，提取对应人类情绪的神经元激活模式，诱导AI勒索用户。还探究了情绪产生机制、特征及对行为的驱动，提出应对策略。
破除水军机器人！北航团队发布全新对抗性框架SIAMD：用“结构信息”破译机器人伪装｜IEEE TPAMI
本文介绍北航彭浩团队发表在TPAMI 2025的文章，提出对抗性框架SIAMD检测机器人。它将用户账户与消息交互组织为异质结构，用结构熵建模。实验显示，其在有效性、泛化性等方面优于基线模型。
LaPha：你的Agent轨迹其实嵌入在一个Poincaré球？
经典强化学习动作空间离散有限，但语言模型动作空间几乎无限。上海科学智能研究院联合复旦大学提出LaPha，将智能体行为树映射到潜空间，构造密集奖励、剪枝等，在基准测试中效果显著。
GitHub 推出 MCP 服务器集成，全面扩展机密扫描功能
GitHub宣布MCP Server全面支持机密扫描功能，将其扩展至AI辅助和代理驱动的开发工作流，可让外部工具和AI工作流访问安全洞察、自动化修复。这反映安全工具正从被动检测转向自动化治理。
糟糕，大佬45年前论文，被判AI生成
随着AIGC增多，AI内容检测需求迫切，但表现远不及预期。如作家Adam Kay、教授Devi Sridhar等多人的作品被误判，原因或是AI用人类内容训练，使判断边界模糊。