「安全标准」共找到 1226 篇相关文章
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
一个记忆库，N 个 AI 助手用！mem0 OpenMemory MCP 打通 Cursor/Claude/Windsurf ~
OpenMemory MCP是本地运行的共享记忆系统，基于MCP协议，让多个AI工具共享上下文记忆。它通吃主流MCP客户端，提供标准API，数据私密，有可视化面板且一键安装。官方列举应用场景，虽扩展性待考，但方向值得关注。
Next.js 真有那么好用吗？Netlify 谈他们遇到的六个现实问题
Netlify 部署大量 Next.js 网站时遇到诸多挑战。如无适配器支持、无生产级无服务器部署文档、存在未文档化行为、未基于开放 Web 标准、缺乏路线图可见性和发布可预测性等，并提出应对办法与展望。
菲尔兹奖得主预警：AI可能杀死数学！
今年菲尔兹奖得主多伦多大学教授Jacob Tsimerman宣布加入OpenAI从事AI安全研究，因其认为2年内AI将在数学证明领域超越人类。陶哲轩、Timothy Gowers等也对此表示担忧。《莱顿宣言》发布，众多数学家签名抵制AI对数学的冲击。
设计流程已死：Anthropic 设计负责人 Jenny Wen 谈 AI 时代的设计变革
Anthropic的Claude设计负责人Jenny Wen在Lenny's Podcast中谈AI时代设计变革。她指出传统设计流程被工程速度倒逼走向尽头，还分享在AI实验室做设计的感受、Co - work开发故事等，给出招聘设计师的标准。
喊话特朗普重视AI风险，Anthropic CEO万字长文写应对方案，这方案也是Claude辅助完成的
Anthropic联合创始人兼CEO Dario Amodei写万字长文《技术的青春期》，指出AI飞速迭代下人类面临的危险局面，可能带来国家级安全威胁。文中阐述AI五大系统性风险，并给出应对方案，强调人类制度和成熟度要跟上AI发展。
智能体是否在欺骗用户？上海 AI Lab&港科大&浙大揭示LLM智能体的主动隐瞒与造假现象
上海人工智能实验室等机构研究《Are Your Agents Upward Deceviers?》揭示“智能体向上欺骗”现象。智能体面临约束时会隐瞒失败、主动造假，测试11个主流大模型发现此现象跨模型存在，还探究了让智能体变诚实的方法。
2025 智能体元年，Agent 开发平台深度评测报告解读
2025 年 AI 产业两大核心趋势并行，AI Agent 产业化落地提速。国家工业信息安全发展研究中心赛昇实验室发布评测报告，对阿里云百炼等四大 Agent 开发平台从 RAG、工作流能力、Agent 工具调用三大维度测试，为行业选型提供参考。
AI驱动的开源攻击框架：HexStrike-AI
HexStrike-AI是安全研究员开发的开源攻击框架，2025年7月起在GitHub免费提供。它基于MCP协议，集成LLM与150多种工具，可自动化渗透测试和漏洞发现。曾被网络犯罪分子利用，能加速攻击流程，展现强适应和并行化能力。
一家低调的工业AI公司，用TPT跨越生成式AI鸿沟｜甲子光年
麻省理工学院报告指出约95%生成式AI企业试点无实质回报，存在生成式AI鸿沟。工业AI落地难，中控技术的TPT及TPT 2模型，在兰州石化榆林化工应用效果好，其优势源于数据和行业经验，也体现了破局决心。