伦理风险」共找到 528 篇相关文章

产品应用8

给 OpenClaw 再加一道安全护栏

为保障智能体安全,开发了SKILL,覆盖安装前到运行中的全生命周期。安装前进行九类风险检查,运行时有guard机制,从六个方面看风险,设四层风险分级和输入信任等级,目标是让智能体更可控。

深度学习自然语言处理
新闻资讯8

Anthropic 哲学家首次 AMA:关于 AI 哲学与伦理边界

Anthropic的哲学家Amanda Askell在首次AMA中,就AI哲学与伦理边界等诸多问题作答,涉及AI道德决策、模型特点、理论与实践、模型福祉等内容,还谈及对各类问题的看法及解决思路。

AGI Hunt
新闻资讯7

OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了

OpenAI解散「Preparedness」团队,该团队负责评估自家AI灾难级社会风险。官方称安全工作已融入开发流程。此前多个安全团队也已解散,多名安全高管离职,引发员工不安。

量子位
算法论文8

AI自己给自己当网管,实现安全“顿悟时刻”,风险率直降9.6%

大型推理模型有安全风险,此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架,发现大模型信息“越狱”两大核心,通过双通路安全头和查询遮蔽建模强化模型安全,实验验证其有效性。

量子位
新闻资讯7

下周聊:出海第一步,AI 科技公司需要关注的 5 个法律合规问题

AI创业应尽早出海,但不同地区法律法规等复杂。文章邀请专业人士,下周四线上分享科技公司、AI创企出海面临的合规风险、典型案例及应对方法,还提及需关注的软硬件法律风险等问题。

Founder Park
新闻资讯7

Ilya闹翻,奥特曼400万年薪急招「末日主管」!上岗即「地狱模式」

近日,奥特曼为OpenAI招募「准备工作负责人」,年薪55.5万美元加股权,约400万人民币起步。该岗位像「救火队长」,要管控AI风险,因当前AI风险更严峻,且OpenAI安全团队人员流失。

新智元
新闻资讯7

突发!OpenAI停止强化学习训练两周

OpenAI发文称暂停最新模型强化学习训练两周,加固研究环境、进行红队测试等。部分低风险训练已恢复,最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险

机器之心
推荐文章8

AI 开发时代的“能力暴露与禁止空间”方法论:TPDD 与高层测试闭环

文章指出大模型加速软件开发范式演进,AI 深度介入开发带来新生产路径,但也放大风险。作者提出 TPDD 方法论,通过提前定义测试点与边界条件,平衡能力利用与风险控制,确保系统可控、安全、可持续。

InfoQ
算法论文8

在AI社会抓「内鬼」?上海AI Lab推出首个多智能体极端事件解释框架

2023年起多智能体系统成人类社会数字镜像,但复杂系统会自发涌现极端事件。上海AI Lab等团队推出解释框架,用沙普利值拆解风险,发现极端事件五大演化规律,还能提前防控风险

机器之心
算法论文8

对抗KV Cache压缩的脆弱性:两行代码以最坏风险控制防御底层假设崩塌

中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷,主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略,仅两行代码修改,显著提升 KV Cache 压缩性能。

机器之心