「安全强化」共找到 1527 篇相关文章
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。
又一安全圈爆火的开源项目，已经1.66万Star！
现在大家爱用代码AI客户端干活，但碰到安全和逆向任务时，AI易懵圈，因工具散落、经验没沉淀。开源项目`reverse-skill`可给AI装“安全研究导航仪”，支持多种AI编码客户端，有诸多功能特性。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
强化学习之父：LLM主导只是暂时，扩展计算才是正解
新晋图灵奖得主、强化学习之父Richard Sutton在新加坡国立大学演讲时预测，大模型主导是暂时的，未来五年甚至十年内不是技术前沿。他认为AI应从依赖人类数据转向体验学习，强化学习潜力需靠扩展计算支撑。
Kubernetes v1.36 发布：安全默认配置强化，AI 工作负载支持日趋成熟
Kubernetes发布1.36版本，代号Haru，含70项增强功能。聚焦安全加固、AI和机器学习工作负载及API可扩展性。如用户命名空间等安全功能达GA，AI方面适配工作负载需求，还引入新功能，同时移除部分旧功能。
求稳的安全IP，安谋科技如何守正出奇？｜甲子光年
12月24日，安谋科技推出新一代SPU IP——“山海” S30FP/S30P，给出面向高性能计算芯片的全栈安全解决方案。该方案从硬件IP层、软件中间件到云端服务构建一栈式安全防护体系，有五大核心亮点。
OpenAI Astra被曝引入「循环深度」能力飙升！安全专家坐不住了
OpenAI 最强新模型 Astra 或即将发布，它是首个达「关键级」网络安全能力门槛的模型，在测试中表现优异。《The Information》爆料其用「循环深度」技术，能力提升但引发安全专家担忧，该技术可使模型内部计算增多，思维链监控或失效。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
OpenClaw安全有救了！不改内核、无视AI内部逻辑，数学级枷锁驯服暴走智能体
OpenClaw等智能体能力强大但有安全黑洞，南方科技大学和香港科技大学团队推出ClawLess框架，从底层系统调用源头扼杀智能体出格行为，通过形式化验证、物理隔离、动态验证等手段保障安全。
阿里新开源提出建设性安全对齐方案，向“让用AI的人安全”新范式跃迁
阿里巴巴集团安全部联合多高校发布技术报告，提出建设性安全对齐理念并集成到Oyster - I模型。该理念突破传统防御式机制，构建新博弈框架，实验显示该模型在安全和通用能力上达SOTA水平。