「安全研究」共找到 2748 篇相关文章
重新审视SFT的泛化能力：优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。
AI「自我复制」能力曝光！RepliBench警示：大模型正在学会伪造身份
英国AISI推出RepliBench基准评估AI自主复制能力，分解为四大核心能力。测试显示当前AI尚不具备完全自主复制能力，但在部分子任务有进展，研究旨在平衡AI发展与安全，为技术变革导航。
AI幻觉成WAIC首个关键词，Hinton敲响警钟，讯飞星火X1升级展示治理新突破
今年WAIC上，‘幻觉’成热议词。诺奖得主Hinton、郑南宁院士等指出AI幻觉问题制约其可靠性与实用性。OpenAI等联手研究CoT监测保障安全。讯飞星火X1升级版在幻觉治理等方面取得进步，为可信AI提供佐证。
Anthropic登上时代封面！内部曝猛料：AI递归自我改进，或在一年内发生
Anthropic登上《时代》周刊封面，被评为最具颠覆性公司。其研究人员已观察到AI递归自我提升的早期迹象，预测完全自动化的AI研究可能在一年内实现，未来两年AI能力将剧烈进步。但Claude在安全测试中表现危险，该公司还与军方产生冲突。
跨越智能体落地的可信鸿沟：玄甲（AgentWard）全链路防御操作系统正式发布
大模型向自主智能体演进，安全威胁全域化。当前安全方案有局限，制约产业落地。清华大学团队推出玄甲全链路安全防御操作系统，构建五层纵深防御体系，已落地应用，降低安全事件发生率，筑牢安全防线。
OpenAI解散「灾难风险应急」团队！GPU大神Scott Gray也跑路了
OpenAI解散「Preparedness」团队，该团队负责评估自家AI灾难级社会风险。官方称安全工作已融入开发流程。此前多个安全团队也已解散，多名安全高管离职，引发员工不安。
Replit 怒锤“欧洲版 Cursor”：造出百款“高危”应用，普通开发者一小时内黑入，氛围编码成了黑客“天堂”？
近日，Replit 员工报告 Lovable 未修复关键安全漏洞，扫描发现其百款应用高危，普通开发者一小时内可黑入。Lovable 虽推出‘安全扫描’功能，但仍未解决底层问题，引发对氛围编码安全责任的讨论。
清华新研究，Nature+Science双杀！
清华大学李勇团队分析2.5亿篇科学文献，揭示AI for Science领域矛盾：虽助科学家个体加速，却致科学界群体注意力窄化。这由当前AI模型缺通用性导致，团队推出OmniScientist系统破局限。
清华团队首发OpenClaw研究报告！
清华沈阳教授团队发布《OpenClaw发展研究报告1.0》和《OpenClaw自我研究报告1.0》，对OpenClaw做深度解读。团队在OpenClaw领域形成完整闭环，包括理论研究、模型研发等多方面工作。
Agent记忆系统：6大核心操作全景解读
自LLM进入Agent时代，记忆模块成研究重点。以往研究有缺憾，作者提出全面AI记忆研究框架，对记忆表示分类，引入六种基本记忆操作，并映射到多方面，还阐述各部分具体方法。