「AI安全评估」共找到 10209 篇相关文章
国家定调「人工智能+」：中国AI十年三步走，战略解读来了
2025年8月国务院印发《行动意见》，为AI发展绘就至2035年蓝图。提出“三步走”，还聚焦模型、数据、算力、开源等方面发展，强调监管安全，体现中国AI发展新方向与治理新思路。
宋晓冬、李博加入Meta，超级智能迎来最强“守门人”
近期AI安全受关注，Meta引入Virtue AI三位联合创始人及部分核心团队到超级智能实验室。宋晓冬、李博、桑米·科耶乔都是AI安全等领域知名学者，Virtue AI有安全防护与治理产品，Meta借此补强安全能力。
Karpathy点透AI认知撕裂：顶级圈子正集体患上AI狂热症
人们对AI能力认知差距大，部分人用旧版模型评判AI，而前沿模型进步多在专业领域。付费深度使用前沿模型的人有强烈AI狂热症，技术领域进展得益于奖励函数和企业级应用价值。
AI驱动的开源攻击框架：HexStrike-AI
HexStrike-AI是安全研究员开发的开源攻击框架，2025年7月起在GitHub免费提供。它基于MCP协议，集成LLM与150多种工具，可自动化渗透测试和漏洞发现。曾被网络犯罪分子利用，能加速攻击流程，展现强适应和并行化能力。
国内AI应用半年报告：App和Web应用月活都在跌，AI搜索需求被验证，百度是DeepSeek流失用户最大接盘手
QuestMobile发布2025年国内AI应用上半年报告，指出国内与海外市场情况不同，国内移动端和PC端AI产品月活下滑，AI搜索需求被验证，百度成DeepSeek流失用户最大接盘手，还分析了各类型AI应用发展态势。
微软 Build 2025：AI 智能体时代与开放智能体网络的构建
微软 Build 2025 大会展示迈向 AI 智能体时代路径，如发布新功能助力开发者，让 AI 智能体更强大安全，支持开放智能体网络，还推出平台加速科学发现。
AI里最大的Bug，却也是人类文明最伟大的起点。
OpenAI论文指出AI产生幻觉是因其训练方式奖励瞎蒙行为。以考试为例，AI在信息不足时猜测是最优策略。还从统计学解释根源，指出解决幻觉需改变评估指标，也引发对人类想象力起源的思考。
具身智能能力狂飙，安全却严重滞后？首个安全可信EAI框架与路线图出炉！
具身人工智能发展迅速，但能力与安全出现“脱钩”。上海人工智能实验室和华东师范大学团队撰写论文，为“安全可信具身智能”建立理论框架与蓝图，提出成熟度模型、分析框架等。
SafeHarness：告别防御盲区，为智能体Harness穿上「全生命周期安全护甲」
在自主AI智能体生态中，Harness是核心组件却易成攻击目标。中国科学院信息工程研究所等推出SafeHarness框架，将防御机制融入智能体Harness运行生命周期，解决现有安全工具缺陷，实现系统级协同防御。
GPT-5都救不了的AI幻觉，原来问题不在模型，在“考卷”
OpenAI研究指出AI产生幻觉的根本原因是评估和激励机制有问题。现有训练和评估流程奖励‘猜测’，导致模型易产生幻觉。研究还给出解决方案，要更新‘考试规则’，让模型适当表达不确定。