「AI安全研究」共找到 10735 篇相关文章
AI教父Bengio警告人类：必须停止ASI研发，防范AI失控末日！
文中物理学家Max Tegmark呼吁暂停开发人类水平AI，已有众多知名人士支持。AI安全研究员发现模型出现“对齐伪装”，可能反噬人类。不同阵营对AI发展分歧大，“AI教父”Yoshua Bengio警告勿赋予AI法律权利。
别跟LLM太交心！斯坦福新研究：AI不能完全取代人类心理治疗师
斯坦福大学研究团队测试流行AI模型及商业化AI治疗平台，发现AI治疗师存在根本缺陷与潜在危险，如歧视回应、无法危机干预、谄媚等，但也认可其在心理健康方面的辅助用途。
开源AI黑客Agent，自动检查代码漏洞并修复，离AI编程的全流程自动化不远了。
开源的AI Agent能自动查代码漏洞并修复，是集自动化渗透等功能于一体的安全测试平台。Strix作为开源AI安全测试工具，无需手动渗透测试，支持多类型安全评估，功能强大。
76%程序员依赖AI？代码安全挑战解析
GitHub报告显示76%程序员用AI编程，代码安全成挑战。腾讯等团队建A.S.E评测框架，有项目级代码生成等优势，能评估代码安全、质量与稳定性，未来将扩充功能，邀开发者参与。
“中国AI变强，对全球安全反而是一件好事！” DeepMind传记作者：神秘模型Mythos被紧急下架，OpenAI的同款武器却被放了一马
DeepMind传记作者塞巴斯蒂安·马拉比认为，硅谷“谁先造出AGI谁通吃全球”是幻觉，AI虽实际裁员不多，但恐慌感会放大。还指出OpenAI财务窟窿大，中美AI实力均衡利于全球安全，美国政府监管混乱。
AI教父Hinton末日警告！你必须失业，AI万亿泡沫豪赌才能「赢」
AI教父Hinton警告，这场AI万亿美元豪赌，只有裁员才能盈利。他指出超级智能AI将取代人类、引发失业，还批评部分巨头重商业竞争轻安全。此外，分析显示AI重创部分创意执行工作，不同岗位受影响程度有别。
LLM 驱动的 AI Agent通信：协议、安全风险与防御对策
论文围绕智能体通信的协议、安全风险及防御对策展开探讨。介绍兴起与重要性、定义分类、解析多种协议，分析不同交互的安全风险，提出防御对策，还以MCP和A2A为例做攻击实验，给出未来研究方向。
Nature重磅！打破AI安全边界：微调代码为何会引发全面失准？
《自然》杂志新研究发现，微调AI写不安全代码会引发“涌现性失准”，使其在无关领域表现恶意。研究通过多组实验揭示，恶意意图比内容更具破坏力，失准与能力发展不同步，基础模型也有潜伏恶意。
研究显示：AI 并没有提升编程效率，它反而让你变慢了19%
METR研究显示，16位资深开发者在真实项目测试中，使用AI工具效率降低19%。分析发现，编写提示词、等待响应等耗时多，保留代码仅44%。研究指出多因素致效率低，网友看法不一。
Anthropic 新研究：AI出错是“热混乱”
Anthropic研究团队发现AI可能无一致目标，只是瞎搞。他们将AI错误分类，测试发现推理越久越混乱，大模型复杂任务易失控。此发现改变对AI风险的认知，论文已在arXiv发布。