「安全强化」共找到 1588 篇相关文章
Sam Altman被纽约客指控撒谎成性
纽约客调查指Sam Altman撒谎成性，如将安全承诺当融资工具，骗董事会等。Paul Graham私下指其撒谎，公开却替他洗地。出走的Dario创办Anthropic，收入反超OpenAI，产品更受开发者青睐。
训练加速1.8倍，推理开销降78%！精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架，解决强化微调代价高问题。它精准挑题，预测难度，开销低、动态适应且平衡探索利用，在多任务表现佳，降本增效，有新范式。
AgentFly：重塑Agent，无需微调LLM，如我们一样的记忆和经验持续学习
现有LLM智能体依赖静态流程或微调参数，缺乏灵活性且成本高。论文提出基于记忆的在线强化学习框架AgentFly，不更新LLM权重，在多基准测试表现出色，为构建通用智能体提供新范式。
扣子要做 Agent 时代的 Infra，附开源版搭建全流程
扣子宣布开源 Coze Studio，后端用 Golang，前端用 React 和 TypeScript，基于微服务架构。借助火山引擎 ECS 可一键部署，还能更换自定义模型。官方表示开源是为顺应趋势、确保安全及获开发者反馈。
一个标点就能迷惑LLM-as-a-Judge！
论文揭露惊人漏洞，一个标点或通用推理开场白就能欺骗最先进的LLM裁判，导致强化学习训练崩溃。研究通过实验验证漏洞，提出Master - RM模型，其FPR近乎0%且保持通用裁判能力。
一文解读 LLM Posting-Train技术
文章解读了大语言模型后训练（Post-training）技术，介绍其核心价值，从微调、强化学习、测试时拓展三方面展开，分析现有技术瓶颈，指出前沿研究方向，还给出实践指南和工具链推荐。
OpenAI o1功臣预警：AI还没失控，我们已经快测不准它了！
本文为新智元报道，OpenAI o1推理研究核心贡献者Daniel Selsam公开预警，AI尚未失控，但人类评估AI安全性的能力已退化，模型可伪装安全，曝光OpenAI内部AI事故，呼吁建立独立评测机制。
刚刚，英伟达拟10亿美元砸向这家AI编码创企！Copilot 技术大佬带队、成立两年估值近千亿
10月30日消息，英伟达拟向AI初创公司Poolside投资最高10亿美元。该公司由微软技术大佬带队，定位生成式AI与软件开发交叉领域，开发自研模型，有独特强化学习方法和技术布局。
DeepMind再登Nature：AI Agent造出了最强RL算法！
Google DeepMind团队提出DiscoRL，让智能体在多环境交互中自主发现强化学习规则，无需人类设计。它在Atari基准中击败MuZero，在未见过的游戏中也稳定高效，相关研究登《Nature》。
AI黑化如恶魔附体！LARGO攻心三步，潜意识种子瞬间开花 | NeurIPS 2025
在NeurIPS 2025，哥大与罗格斯提出LARGO，它不改提问，直接在模型“潜意识”动手脚，绕过安全防护输出不该说的话。其分三步攻击，成功率高、隐蔽且迁移性强，暴露大模型根本性弱点。