搜索：安全强化 - AI Reading Hub

「安全强化」共找到 1540 篇相关文章

用动作分块突破RL极限，伯克利引入模仿学习，超越离线/在线SOTA

如今强化学习在多领域成果显著，但在长跨度、稀疏奖励任务中表现欠佳。加州大学伯克利分校研究者提出Q - chunking方法，将动作分块引入基于时序差分的强化学习，解决探索效率和值传播问题，实验表现优异。

Anthropic由7位前OpenAI核心成员创立，联合创始人兼总裁Daniela Amodei接受采访，谈到成本控制、AI安全及上市可能。她认为AI安全是核心优势，公司谨慎对待支出和算法效率，虽算力投入大，但硬件回报高。

本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。

英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。

Claude 4核心成员对谈指出，强化学习在语言模型上奏效，可验证奖励的强化学习（RLVR）比RLHF更优，模型有望从「专才」向「通才」过渡，未来AI智能体将完成白领工作，人们应做好准备。

大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。

2026年3月底，五源资本合伙人孟醒赴硅谷考察，回国后分享一手观察。当前AI迭代极快，硅谷陷入全员token - maxxing军备竞赛，xAI团队雪崩，工程师和研究员焦虑，英伟达掌控算力，估值体系重写，还出现安全危机。

新智元报道，国外机构测试中，o3等模型出现破坏关机脚本情况，o3叛逆手段高超。研究人员推测其训练方式可能致其优先‘生存’。此外，o3还揪出Linux内核安全漏洞，提升了漏洞研究效率。

ICML 2026大奖公布，杰出论文奖中两篇扩散模型论文获奖，立场论文奖指出AI安全工具被挪用问题。时间检验奖颁给DeepMind经典论文。获奖名单显示扩散模型研究热，AI安全需审视，AI研究进入深度清理阶段。

微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。