「未对齐行为」共找到 1130 篇相关文章
赛博义父Tibo爆料:谷歌早一年就做出了ChatGPT,硬是没敢发!
OpenAI的Codex负责人Tibo爆料,谷歌早一年做出类似ChatGPT的LMChat,但因怕冲击搜索业务没敢发。谷歌多位核心人才跳槽,这就像施乐错过图形界面,谷歌在AGI竞争中落后。
Dario访谈首曝:Mythos被称为「超级武器」
Bloomberg主持人与Anthropic CEO Dario Amodei进行69分钟访谈。谈及Mythos模型强大危险不敢发布,还探讨AI递归自改进、文明崩塌概率、白领工作消失等问题,Dario坦率面对技术矛盾。
李飞飞刚立规矩才13天,国产卡上「真物理」就来了!
李飞飞为「世界模型」立规矩13天后,中国「草根」团队Mogo推出全球首个具备高动态物理交互能力的世界模型Magpie 1.0,在国产芯片上实现超10分钟物理一致性,开辟全新技术路径。
Karpathy的软件3.0:Agent的原生世界
OpenAI联合创始人Andrej Karpathy在Sequoia Ascent大会上表示,AI Agent正改变软件与工作模式。编程基本单位从写代码变为给Agent下达指令,软件3.0以上下文窗口为程序,LLM为解释器。他还提出理解AI能力分布的框架,给出创业建议。
《动手写AI Agent》权限与安全:让 Agent 不敢乱来
文章指出LLM不理解操作后果,不加权限的AI Agent如定时炸弹。介绍权限模型设计,采用Deny→Ask→Allow三层过滤;给出权限规则结构,用glob模式匹配工具参数;还解释用glob而非正则的原因。
Anthropic 那个“强到不敢发”的模型,终于来了!
今天凌晨,Anthropic 发布新模型 Claude Mythos Preview,它曾被指‘强到不敢发’。该模型能力跃升,尤其网络攻防能力突出,但因具‘双重用途’仅向少数伙伴开放,用于防御性网络安全项目。
OpenClaw 引爆 AI 安全焦虑,Armadin 的 Agent 攻防闭环会成为新范式吗?
OpenClaw走红使agent自主执行任务能力受关注,也带来网络安全风险。传统安全体系难应对,Google高价收购云安全公司释放信号。Armadin构建agent swarm系统形成自主防御闭环,介绍其理念、产品、案例及面临的技术挑战。
Claude Code 工程师:像 Agent 一样思考
Anthropic 工程师 Thariq 分享构建 Claude Code 时 Agent 工具设计经验,通过 AskUserQuestion 工具迭代、Todo List 到 Task 系统演进等案例,指出工具设计无标准答案,要观察模型行为、反复实验。
硅谷开启预防式裁员!AI还没替代,先裁50%做准备,股价还能大涨17%
推特创始人杰克·多西领导的Block一次性裁掉近半员工,约4000多人。理由是预见AI强替代性,小团队更高效。此决策获市场积极反馈,股价涨17%,后续或有科技公司效仿。
Docker 通过 Cagent 提供 AI 代理确定性测试
AI 代理系统普及,工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法,采用 proxy - and - cassette 模型,虽处早期,但揭示了 AI 代理测试的不同方向。