「对齐风险」共找到 698 篇相关文章
Meta正炼化老板：24小时不间断工作，扎克伯格真成机器人了
《金融时报》爆料，扎克伯格正将自己炼成“代理CEO”扎克bot，由其影像和语音数据训练，本人也参与其中。超级智能实验室攻克相关技术难题，Meta还开发“CEO Agent”，但项目上线或面临问题。
挑战 Claude Code，9.5 万星！又一款开源 AI 编程神器火了
开源AI编程工具OpenCode亮相，具备原生终端界面、多会话支持，兼容75种以上模型，提供桌面版和IDE插件。它允许沿用付费订阅，内置免费模型，与多种LSP服务器整合，适配多种编辑器，采用‘隐私优先’架构设计。
被喷了……我索性扔出价值过万的 AI 编程 prompt
作者因招聘要求被喷，索性分享价值过万的 AI 编程 prompt。介绍招聘需把控 AI 产出质量，还讲了完整表达需求、完善文档、过程监督等编程要点，最后给出杀手级 prompt 并预告下文。
Nature新研究：AI竟然分不清事实和信念
斯坦福大学团队在Nature发表研究，测试15个大模型，发现其区分事实、信念和知识存在严重缺陷。如处理第一人称信念准确率低，对语言线索依赖高，在高风险领域应用令人担忧。
AI 创业最大的问题，不是 FOMO，而是没想清楚
Anthropic 对齐研究负责人 Jordan Fisher 在 YC 分享中提出诸多 AI 创业思考，如按两年后世界规划产品、软件是否商品化、信任问题及护城河等，虽当下多无答案，但思考很重要。
OpenAI×英伟达，可能创造了人类史上最大万亿级泡沫
短短两周内，OpenAI、英伟达等企业间巨额投资与合作掀起资本风暴。资金循环流动形成封闭回路，看似产业协同，实则暗藏泡沫风险，引发业内对其是技术发展还是泡沫的争议。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。
链式思维是幻象吗？从数据分布视角重新审视大模型推理，马斯克回复，Grok破防
亚利桑那州立大学研究发现，思维链（CoT）推理可能只是对训练数据分布内模式的复现，输入与训练数据分布有差异时，推理链条会失效。研究探究了CoT泛化性等问题，对实际应用提出警示。
马斯克xAI联创突然离职了
马斯克xAI联创Igor Babuschkin离职，他将创办风投公司支持AI安全研究。他物理学出身，曾就职DeepMind、OpenAI。xAI同事不舍，此前法律主管也已离职，Grok还曾引发争议。
刚刚，OpenAI发布CoT监控，增强AI Agent自主能力
今天凌晨，OpenAI发布思维链（CoT）监控技术论文，用于监督AI Agent，增强其自主性。思维链监控可调试故障、合规审计，是构建安全透明AI的蓝图，文中还提及CoT监控必要性及有效方法。