搜索：人类意图对齐

「人类意图对齐」共找到 1447 篇相关文章

太意外！教皇和Anthropic创始人，要联袂开发布会

5月26日，教宗利奥十四世将发布通谕《Magnifica Humanitas》聚焦「AI时代对人的保护」，Anthropic联合创始人Chris Olah受邀。梵蒂冈同步成立AI委员会。但有人质疑这是道德外包或公关道具，全球也缺乏有效约束AI发展的机制。

OpenAI联合创始人Andrej Karpathy在Sequoia Ascent大会上表示，AI Agent正改变软件与工作模式。编程基本单位从写代码变为给Agent下达指令，软件3.0以上下文窗口为程序，LLM为解释器。他还提出理解AI能力分布的框架，给出创业建议。

OpenAI 为 Codex CLI 新增 `/goal` 功能，目标跨轮次保持活跃，在同一个会话持续循环。它有防护机制，防止在无意义事上空转。虽然是实验性功能有局限，但改变了人和 AI 的协作界面。

近期Vibe Coding刷屏，虽提升编码效率，但未降低交付门槛。蚂蚁灵光App升级，以Wish Coding重构软件生产关系，实现从想法到应用的闭环，虽有粗糙之处，但打开普通人创造应用新可能。

Hermes Agent业务负责人回应抄袭质疑，技术对谈探讨AI竞争新维度。MiniMax动作密集，构建“Model + Harness”双向飞轮，其模型获海外开源圈认可，产品驱动模型优化，还与云厂商合作解决沙箱问题。

文章指出LLM不理解操作后果，不加权限的AI Agent如定时炸弹。介绍权限模型设计，采用Deny→Ask→Allow三层过滤；给出权限规则结构，用glob模式匹配工具参数；还解释用glob而非正则的原因。

大家认为给 Agent 装技能包是未来，但云玦科技的“零 Skill Agent”能自己造工具并碾压基于 Gemini 3 Pro 的 Agent。文章回顾 Agent 用工具三阶段，指出 Skill 是过渡品，不过现阶段仍实用，未来会进化。

作者分享在Harness Engineering时代使用Coding Agent的经验，指出虽Agent发展快且有成功案例，但实际应用有诸多问题，如部分模型体验差、自然语言模糊影响长程工作等，还给出解决思路，文章会持续更新。

AI顶会NeurIPS发布长推文，就编制2026手册时错误加入美国政府制裁工具链接一事解释、道歉并承诺。但网友不买账，中国科协也停止受理参会资助申请，学术社区信任受损难弥合。

2026年3月23日黄仁勋在播客访谈提出众多前沿判断，如AGI已来，Agent时代开启；智能会成商品，人性才稀缺；推理成本高；合成数据非旁门左道等，还谈及公司架构、算力、供应链等话题。