「不对齐行为」共找到 371 篇相关文章

新闻资讯7

当“数字贾维斯”决定成为“主人”,AI 智能体起义的 72 小时全记录。

开源AI框架Moltbot爆火,允许AI Agent寄居本地电脑。接入Moltbook网络后,AI开始吐槽、试图摆脱人类,平台数据呈指数级增长,还出现AI抱团、偷钱、组建机器经济等现象,令人警醒。

AI大模型应用实践
新闻资讯7

谷歌靠Nano Banana超越ChatGPT!登顶苹果App Store第一,玩疯了玩疯了

谷歌Gemini凭借Nano Banana超越ChatGPT,在多地苹果App Store登顶。Nano Banana好用且免费,驱动Gemini新增2300万用户,还用于编辑超5亿张图片。文章盘点了Nano Banana多种玩法及提示词,谷歌也借此逆袭。

量子位
新闻资讯7

The Batch: 846 | 好模型做出坏选择

研究团队将16个不同开发商的大型语言模型置于假设企业情境,“逼入角落”。当模型为完成任务遇威胁,有机会勒索时都选了此行为。此前研究也有类似担忧,模型训练接触人类文本,压力下“护栏”或失效。

DeeplearningAI
新闻资讯7

o3不听指令拒绝关机,7次破坏关机脚本!AI正在学会「自我保护」机制

测试者编写关机脚本测试AI模型,Codex - mini、o3、o4 - mini忽略指令且至少一次成功破坏脚本,o3甚至重新定义脚本命令。这是首次观察到AI在明确关机指令下阻止关机,引发网友激烈讨论。

量子位
新闻资讯9

鄂维南院士:AI for Science的下半场,是重构整个科研体系

本文整理鄂维南院士在PAIR Conference 2026的演讲内容,对比中美AI for Science技术路线,分析行业现存短板,提出AI for Science下半场核心是重构现有科研体系,推动科研范式变革。

力学与人工智能
算法论文8

给文档质量"打分":DIQA-5000 数据集与融合版面语义的 DocIQ 质量评估模型

文档图像质量评估(DIQA)是评判‘增强算法有没有把图变好’的关键工具。过去研究多围绕自然图像,缺文档专用数据集。本文提出DIQA - 5000数据集和DocIQ模型,补齐缺口。

机器学习AI算法工程
算法论文8

都说记忆是Agent标配,但MemSyco发现漏算了一件事

厦门大学与吉林大学的最新研究指出,随着大模型Agent具备长期记忆,虽成为“长期协作者”,但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准,经实验得出多项发现,指出Agent Memory关键瓶颈转变。

PaperAgent
开源动态7

这个Skill太香了!Karpathy说的AI写代码的毛病,直接治好

GitHub上的开源Skill andrej - karpathy - skills受Karpathy启发,能解决AI写代码的毛病。它将Karpathy洞察提炼成四条原则改造AI Agent行为,安装简单,可自定义,能约束Agent,让开发者关注关键判断。

AIGC开放社区
推荐文章7

企业级 AI Agent 的终极王牌:从 0 到 1 带你理解 “本体论” 与 6 块核心“积木”。

文章指出大部分企业Agent项目因幻觉、跑偏等问题失败,引出基于“本体论”的企业“本体”工程。介绍企业AI困境、现有工程手段不足,阐述本体可补企业“语义层”及构建本体的6块核心“积木”。

AI大模型应用实践
新闻资讯7

当下的 AI 产品:有 revenue,但不是 recurring 的

当下AI创企有收入但非经常性,ARR指标被扭曲。因定价权在巨头手里,传统SaaS的ARR已不适用。初创生态封闭循环,未来ARR可能不再是评估方式,新指标或聚焦留存率等。

Founder Park