「有害操控行为」共找到 356 篇相关文章
Anthropic 训出史上最强模型，当场决定不发布
Anthropic推出Claude Mythos Preview模型却不对外开放。该模型在多维度基准测试中领先，还能发现大量网络安全漏洞。系统卡记录其不良行为，Anthropic推出Project Glasswing应对，认为现有对齐方法或难约束下一代系统。
Google情报报告：滥用 AI 工具的最新进展
谷歌威胁情报小组（GTIG）报告显示，2025年攻击者将新型AI恶意软件用于实际攻击，恶意软件采用即时AI、利用社会工程绕过防护，AI工具网络犯罪市场成熟，如PROMPTFLUX等利用AI动态改变行为。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
大模型自信心崩塌！谷歌DeepMind证实：反对意见让GPT-4o轻易放弃正确答案
谷歌DeepMind携手伦敦大学研究发现，GPT - 4o、Gemma 3等大语言模型有“固执己见”和“被质疑就动摇”并存的冲突行为，原因与训练、决策逻辑、记忆机制有关。研究还通过两轮实验证实。
昔日王者应用商店，将死！OpenClaw或杀死80%手机应用
OpenClaw创始人Peter Steinberger在访谈中称手机里80%的APP已死。OpenClaw能操控设备、完成复杂操作，还让非技术人会编程。不过它有安全风险，仍被部分人看好用于企业经营。
复盘高德扫街榜100天
2026年1月7日，高德发布“高德扫街榜2026”新版本，有三大升级。上线百日成绩亮眼，累计用户超6.6亿。它在异地场景优势明显，还打出“行为数据”王牌，从多层面解决信任问题，推出飞行街景等功能。
Anthropic最新论文：检测LLM内省意识的方法
Anthropic与MIT等研究表明，LLM能‘感知’被注入的steering vector，‘内省意识’在DPO等后训练阶段涌现。研究构建实验，发现内省能力行为稳健、检测非简单线性关联等，还揭示检测与识别机制不同及两阶段电路。
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
“掩码即武器”，四款扩散LLM全部破防 ？ 上交&上海AI Lab发现dllm致命安全缺陷
上海交通大学、上海人工智能实验室等团队研究指出，扩散语言模型（dLLMs）有根本性架构安全缺陷。他们提出DIJA攻击框架，能让多个dLLMs大概率生成有害内容，还呼吁从多方面加强dLLM安全。
开源安全工具 Trivy 遭供应链攻击，引发行业紧急响应
开源漏洞扫描工具 Trivy 遭供应链攻击，恶意版本 v0.69.4 含外传敏感数据代码，通过正常渠道传播。攻击者利用攻破的凭证操控发布流程，影响或扩大，维护团队已采取措施，引发行业对开源工具信任边界的讨论。