「人工智能安全治理」共找到 1454 篇相关文章
硅谷一线创业者内部研讨：为什么只有 5%的 AI Agent 落地成功，他们做对了什么？
来自硅谷一线AI创业者数据显示，95%的AI Agent在生产环境部署失败，原因在于围绕模型搭建的脚手架不完善。文章基于研讨会内容，探讨AI Agent构建关键，如上下文工程、安全控制、记忆功能等，并指出待解决问题和未来方向。
250份文档投毒，一举攻陷万亿LLM！Anthropic新作紧急预警
Anthropic最新研究揭示，仅250篇恶意网页就能让大模型“中毒”，遇特定触发词会崩溃。研究还设计DoS型后门攻击，验证不同规模模型攻击效果。同时指出AI开放性易被操控，而Anthropic注重安全，有“防爆层思维”。
技术大神用纯Rust从零构建了LLM，在GitHub上大火
Python是AI界宠儿，Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM，在GitHub上火了。Rust弥补了C/C++和Python的不足，Rust社区LLM项目增多，巨头也在布局。
交互扩展时代来临:创智复旦字节重磅发布AgentGym-RL，昇腾加持，开创智能体训练新范式
强化学习之父指出人工智能迈入「经验时代」，在此背景下，复旦、创智、字节研究者发布 AgentGym - RL 框架。它是全新端到端 RL 框架，提出 ScalingInter - RL 方法，7B 模型经训练追平顶尖商业模型，为 AI 发展注入动力。
真热AI！米哈游5亿成立新公司
米哈游全资成立上海米哈游无定谷科技有限公司，注册资本5亿，经营范围涉及人工智能等领域。米哈游在AI领域布局已久，有自研大模型，创始人蔡浩宇也有相关创业动作，旗下游戏还与马斯克的AI女友互动。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
CVPR 2025 多模态大一统：斯坦福 x 复旦提出符号主义建模生成式任务
来自多机构研究团队提出基于符号化表征的生成任务描述框架，将符号化思维引入生成任务建模。实验证明，该框架在跨模态生成任务中表现出色，为推进生成式人工智能能力提供了成本效益高且可扩展的基础。
360开源高质量图文对齐数据集！收纳1200万张图像+1000万组细粒度负样本，让模型告别“图文不符”
360人工智能研究团队的冷大炜博士团队开源FineHARD高质量图文对齐数据集，包含1200万张图像、4000万个边界框及对应描述、1000万组细粒度难负样本，能提升模型图文对齐能力，还介绍了构建方法、分析及应用前景。
菲尔兹奖得主预警：AI可能杀死数学！
今年菲尔兹奖得主多伦多大学教授Jacob Tsimerman宣布加入OpenAI从事AI安全研究，因其认为2年内AI将在数学证明领域超越人类。陶哲轩、Timothy Gowers等也对此表示担忧。《莱顿宣言》发布，众多数学家签名抵制AI对数学的冲击。
全国首部“数据流通交易合规”标准，现公开征集起草单位和专家！
2026年是数据要素价值释放年，数据资产交易却面临合规与安全难题。中国电子商会归口、智合标准中心组织编制《企业数据要素流通交易合规指南》团体标准，涵盖多核心模块，有三大亮点，现征集起草单位和专家。