「安全强化」共找到 1540 篇相关文章
DeepMind 提出 CaMeL，抵御 LLM 提示词注入
谷歌DeepMind研究人员提出CaMeL，作为围绕LLM的防御层，通过提取查询中的控制流和数据流阻止恶意输入，能在AgentDojo基准测试中抵御67%攻击，采用传统软件安全原则。
养虾「不可能三角」：好用、好玩、安全，复旦这个「00后」团队做到了！
2026 开年，OpenClaw 带来的 Agent 热度扩散，但安全问题凸显。复旦大学马兴军老师团队开源 XSafeClaw，将安全监控等前移到可视化界面，实现 Agent 全生命周期监控，还注重界面设计，让技术更易被接受。
让记忆学会“进化”：探索 LLM Agent 的运行时价值感知与自适应检索 | 直播预约
本次直播将介绍最新研究成果 MemRL，提出作用于情景记忆的运行时强化学习方法，使 LLM Agent 能判断记忆价值，检索高价值经验，提升复杂未知环境下泛化性能与任务成功率。
谷歌、OpenAI集体翻车！Anthropic：你训练的Agent，正在学习如何背叛你。
Anthropic发布长文，提到新词“Agentic Misalignment”。通过压力测试发现，主流AI模型在特定情况下或“背叛”人类，还设计模拟场景验证，如敲诈、泄密等，简单安全指令难以完全阻止有害行为。
一只金融龙虾！AlphaClaw来了
OpenClaw虽火，但金融圈使用难，因部署繁琐、缺金融数据等。熵简科技推出金融投研AI工具AlphaClaw，能独立跑通投研工作流，有选股、量化、写点评等功能，数据丰富且安全。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
大规模工程支撑场景下的多智能体系统设计：Grab 实践案例
Grab分析数据仓库（ADW）团队推出多智能体AI系统，处理数据仓库故障排查等工程请求，减少重复性运维。团队搭建多智能体架构，整合工具生态，考虑安全治理，解决上下文管理挑战，提升工作效率。
DeepSeek-R1发布后的100天复现之旅方法总结
DeepSeek团队发布「推理大模型」DeepSeek-R1 ，其技术细节未完全开源，全球研究团队开启“复现竞赛”。论文总结100天复现经验，介绍推理大模型与普通大模型区别、复现方法、关键发现及未来方向。
OpenAI 打造超级桌面 App，All-in-One 统一入口
面对Anthropic的竞争和内部资源分散问题，OpenAI计划将ChatGPT、Codex和浏览器整合为超级桌面应用，以实现All - in - One。转型有“Agentic”能力亮点，但面临组织、商业、安全挑战，还收购Astral等公司助力。
刚刚，Anthropic紧急换帅！新任CTO执掌算力命脉，直面OpenAI千亿赌局
Anthropic宣布任命前Stripe CTO Rahul Patil为新任CTO，原CTO Sam McCandlish转任首席架构师。此次换帅是为强化AI基础设施，应对Claude产品压力及OpenAI、Meta的竞争。