「安全风险」共找到 1224 篇相关文章
毕马威：企业对AI Agent智能体试点应用猛增
毕马威2025年一季度AI应用报告显示，企业对AI Agent智能体试点应用猛增，自上季度以来试点企业比例从37%升至65%，在各业务场景广泛探索，但应用中面临员工培训难题，企业也采取了风险缓解措施。
谷歌DeepMind：AGI不必是巨型模型，拼凑型AI群或率先涌现，管理大规模Agent迫在眉睫
DeepMind最新研究提出，AGI未必以单一巨型模型形式出现，可能由多个次级AGI智能体协作拼凑涌现。为此，团队提出分布式AGI安全框架，包含四层深度防御模型应对新安全挑战。
Nature发布Delphi-2M模型，提前20年预测你得什么病
2025年9月17日《自然》发表研究成果，欧洲、德国和丹麦科学家改造GPT架构，推出Delphi - 2M模型。它能预测1258种疾病及死亡风险，依据过往病史等提供风险概率，虽有局限但潜力大。
重建安全，Kai种子轮拿了1.25亿美元，有点象龙虾
大模型用于网络攻击，传统安全跟不上节奏。初创公司Kai首笔融资1.25亿美元，它从根本上重建安全，用单一智能体AI平台自主完成安全工作，愿景是整合网络安全和IT功能。
Anthropic曝光自家整套，AI原生研发手册
Anthropic 在官方博客发布两篇内部实践文章，《The AI-Native SDLC Playbook》讲 AI 承担多数编码工作时软件流程安排，《How Anthropic secures its AI-native software development lifecycle》谈流程自动化后安全体系建设。
一句“吴恩达说的”，就能让GPT-4o mini言听计从
宾夕法尼亚大学研究者发现，用恭维、同侪暗示等心理话术，能让GPT - 4o Mini突破安全底线。实验基于七大说服技巧，证明人类心理学原则可迁移至LLM。不过，此漏洞或被利用，已有团队尝试应对。
Replit 怒锤“欧洲版 Cursor”：造出百款“高危”应用，普通开发者一小时内黑入，氛围编码成了黑客“天堂”？
近日，Replit员工报告“欧洲版Cursor”Lovable有安全漏洞，虽早收到通报却未修复。员工扫描其1645款应用，170款可让人访问用户信息。多位工程师成功“黑入”，Lovable虽有改进但仍未解决底层问题。
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。
真实场景也能批量造「险」！VLM+扩散模型打造真实域自动驾驶极限测试
浙江大学与哈工大（深圳）联合推出SafeMVDrive，将VLM关键车辆选择器与两阶段轨迹生成结合，可在真实域批量制造高保真安全关键视频，用于端到端自动驾驶系统安全性测试。
GitHub 推出 MCP 服务器集成，全面扩展机密扫描功能
GitHub宣布MCP Server全面支持机密扫描功能，将其扩展至AI辅助和代理驱动的开发工作流，可让外部工具和AI工作流访问安全洞察、自动化修复。这反映安全工具正从被动检测转向自动化治理。