「人工智能安全治理」共找到 1451 篇相关文章
LLM 驱动的 AI Agent通信：协议、安全风险与防御对策
论文围绕智能体通信的协议、安全风险及防御对策展开探讨。介绍兴起与重要性、定义分类、解析多种协议，分析不同交互的安全风险，提出防御对策，还以MCP和A2A为例做攻击实验，给出未来研究方向。
2025年第二届「兴智杯」全国人工智能创新应用大赛正式启动，线上报名开启
2025年5月8日，第二届「兴智杯」全国人工智能创新应用大赛启动，由多机构主办。大赛聚焦关键能力设赛题，分主题赛和总决赛，有激励机制。深圳产业优势突出，共同主办助力人工智能融合发展。
把事实核查嵌入诊疗流程：MedGuard给「诊疗安全」当守门人
蚂蚁AI安全实验室与厦门大学团队联合提出MedGuard，将医学事实核查嵌入诊疗流程。它是医疗安全基础设施，在诊疗意见等形成前验证事实，在评测和临床评价中表现突出，能准确判断风险边界，可嵌入医疗流程。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
OpenAI大神：人工智能导论课程停在15年前，本科首选该是机器学习导论
如今人工智能成科技主流，入门者选对课程很重要。OpenAI研究科学家Noam Brown认为，本科生不应把人工智能导论作首门AI课，因其大纲多年未变，应首选机器学习导论。此观点引发热议。
GuardAgent：首个专门为LLM agent提供安全Guardrail 的守卫型agent
近年LLM从对话工具变为可自主执行任务的agent，但带来安全隐私挑战。传统安全监护对其力不从心，为此学者发布GuardAgent，它守卫agent，具通用性、精确判断和免训练部署优势，实验表现佳。
告别先开发后治理：Agent 驱动的数据质量一体化交付
文章指出离线数据开发中数据质量建设面临开发与治理分离的困境，如治理滞后、迭代不同步等。DataWorks引入Data Contracts理念，以YAML Spec形式将质量规则嵌入开发流程，还可借助Agent配置规则，未来将多引擎覆盖、降低门槛并融入IDE。
如何破解内容安全“不可能三角”？快手王东旭：把组织从“固态”变成“液态”
快手内容安全团队负责人王东旭在AICon大会拆解“人机协同”破解内容安全“不可能三角”。他提出组织从“固态”转向“液态”，构建“AI合成旅”，还阐述产运研等岗位职能跃迁及协同模式升级，强调速度是护城河。
如何破解海量内容审核难题？快手安全大模型技术探索与应用实践
在数字内容爆炸式增长下，传统内容审核模式难应对挑战。快手安全算法中心负责人刘梦怡分享自研多模态大模型技术方案与应用实践，涵盖架构、数据、训练等，还介绍审核智能化应用及未来展望。
从 0 到 25 万行：一个 100% AI 编码项目，真正难的不是生成，而是治理
作者分享 Routa 项目用 AI 驱动开发的经验，指出 100% AI 编码项目真正难的是治理。介绍多个工具参与情况，阐述项目长出反馈系统的过程，包括规则入口、上下文收敛、提交前约束及仓库级裁决等。