「对齐风险」共找到 731 篇相关文章
Nature新研究：AI竟然分不清事实和信念
斯坦福大学团队在Nature发表研究，测试15个大模型，发现其区分事实、信念和知识存在严重缺陷。如处理第一人称信念准确率低，对语言线索依赖高，在高风险领域应用令人担忧。
AI 创业最大的问题，不是 FOMO，而是没想清楚
Anthropic 对齐研究负责人 Jordan Fisher 在 YC 分享中提出诸多 AI 创业思考，如按两年后世界规划产品、软件是否商品化、信任问题及护城河等，虽当下多无答案，但思考很重要。
OpenAI×英伟达，可能创造了人类史上最大万亿级泡沫
短短两周内，OpenAI、英伟达等企业间巨额投资与合作掀起资本风暴。资金循环流动形成封闭回路，看似产业协同，实则暗藏泡沫风险，引发业内对其是技术发展还是泡沫的争议。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。
链式思维是幻象吗？从数据分布视角重新审视大模型推理，马斯克回复，Grok破防
亚利桑那州立大学研究发现，思维链（CoT）推理可能只是对训练数据分布内模式的复现，输入与训练数据分布有差异时，推理链条会失效。研究探究了CoT泛化性等问题，对实际应用提出警示。
马斯克xAI联创突然离职了
马斯克xAI联创Igor Babuschkin离职，他将创办风投公司支持AI安全研究。他物理学出身，曾就职DeepMind、OpenAI。xAI同事不舍，此前法律主管也已离职，Grok还曾引发争议。
刚刚，OpenAI发布CoT监控，增强AI Agent自主能力
今天凌晨，OpenAI发布思维链（CoT）监控技术论文，用于监督AI Agent，增强其自主性。思维链监控可调试故障、合规审计，是构建安全透明AI的蓝图，文中还提及CoT监控必要性及有效方法。
独家揭秘OpenAI核心文件：AGI五级突破实锤！微软130亿投资或打水漂
新智元揭秘OpenAI核心文件，Ilya Sutskever曾预言AI无所不能，也担忧其失控后果。OpenAI与微软的合同中AGI条款成谈判核爆点，未公开论文划分AGI五级，让微软130亿投资或打水漂。
北大腾讯突破奖励模型瓶颈！让AI理解人类偏好，泛化能力比肩GPT-4.1
北京大学知识计算实验室联合腾讯等机构提出RewardAnything，突破奖励模型瓶颈。它让奖励模型理解自然语言评判原则，降低成本，泛化能力比肩GPT - 4.1，还能用于定制AI行为模式。
特朗普「全政府AI计划」竟在GitHub泄密！或于7月4日「独立日」上线
特朗普政府AI计划未亮相就在GitHub泄露。ai.gov网站或7月4日上线，要将AI融入政府各部门。该计划由TTS老板Thomas Shedd提出，不过网友质疑其可行性与安全性。