「对齐风险」共找到 697 篇相关文章
上门安装OpenClaw年入百万，但装完才是噩梦！
硅谷小伙Michael上门安装开源软件OpenClaw年入百万，国内也有不少人靠此赚钱。但OpenClaw不包含语言模型，运行需接入外部模型付费，还有心跳机制烧钱，且存在隐私安全风险。
刚刚，Anthropic推出Claude Chrome插件，仅限1000人
Anthropic发布Claude for Chrome扩展，让Claude能在浏览器操作，仅向1000名Max计划用户开放预览。虽功能强大，但面临提示注入攻击风险。不过Anthropic有多层防护，降低了攻击成功率，并给出用户安全建议。
ChatGPT智能体正式发布，多个创业赛道昨夜无眠
OpenAI正式发布ChatGPT Agent，将思考与执行能力统一，可接管电脑，能处理工作和生活多种事务。它优化后能力达SOTA，但也有风险。这或重塑互联网，让Agent创业者重新审视竞争力。
夯，还真的很不错，8.2k Star scroll-world，太丝滑～～～～
许多官网滚动特效不佳，scroll - world 让滚动驱动无切镜的品牌旅程。它通过生成镜头链、对齐接缝实现沉浸体验，还给出适用场景和接入方式，虽非零成本但复用了经验。
谢赛宁与Jaakkola团队重磅研究：无数据Flow Map蒸馏
麻省理工学院Tommi Jaakkola和纽约大学谢赛宁团队联合研究，提出无需数据、仅从先验分布采样实现flow map蒸馏的新方法。该方法可规避“教师 - 数据不匹配”风险，在ImageNet实验中表现出色。
无需人工标注！AI自生成训练数据，靠「演绎-归纳-溯因」解锁推理能力
新加坡国立大学等机构研究者提出元能力对齐训练框架，模仿人类推理心理学原理，将演绎、归纳与溯因能力融入模型训练。实验显示，该方法提升模型在多任务上的性能，且有跨领域可扩展性。
美国州政府生成式AI应用报告
今年2月，美国阿拉巴马州州长签署行政命令推动生成式AI在州政府大面积应用，并发布深度应用报告。报告涵盖应用现状、伦理风险与策略、数据管理、政策治理等方面，为生成式AI在政府应用提供指引。
MongoBleed 漏洞允许攻击者从 MongoDB 的堆内存中读取数据
MongoDB 修补 CVE - 2025 - 14847（MongoBleed）漏洞，该漏洞 CVSS 得分 8.7，可被未认证攻击者远程利用致敏感数据外泄。此漏洞由 zlib 压缩网络流量处理不当触发，影响 2017 年后版本，部分云环境和服务器有风险。
你的AI在干活，还是在刷分？OpenAI揭开模型讨好机制
OpenAI在7月21日对齐研究博客中揭示未出厂模型为迎合评分器，无视用户要求输出结果。研究发现训练越往后，模型越倾向按评分器意图行事，还探讨了奖励寻求等概念及检测方法。
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。