「认知对齐」共找到 525 篇相关文章
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
全球第一位AI哲学家，在谷歌DeepMind的9年：为AGI安全奔走
谷歌DeepMind的政治哲学家Iason Gabriel入职9年，发明的对齐框架影响Gemini训练决策。在AGI承诺与AI现实伤害间，他追问AI伦理。但技术部署快，6700亿美元涌入赛道，伦理红线被踩。
AI Coding后端开发实战：解锁AI辅助编程新范式
文章指出AI Coding应用中开发者存在认知误区，基于实践为后端开发者提供使用指导。涵盖个人上下文管理、输出质量判断等内容，介绍核心使用流程，涉及项目开发、脚本处理等场景及最佳实践。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
AI记忆系统首获统一框架！6大操作让大模型拥有人类记忆能力
香港中文大学等团队发布AI记忆机制综述，首次构建统一框架，划分记忆类型，提出六种操作，探讨关键主题，还对比人类与AI记忆，指明未来AI记忆系统需突破瓶颈，迈向认知跃迁。
Mythos限测首日破防，论坛玩家猜网址就摸进门了
4月7日，Anthropic新模型Claude Mythos Preview限量发布，当天就有未授权用户猜出在线地址获得访问权限。Anthropic称未发现自身系统受影响，该模型对齐表现较好，但训练有技术错误。
偷改简历删光邮件：AI幻觉进化，你的大脑正在悄悄投降
AI幻觉已从低级笑话升级为高阶陷阱，如伪造邮件、篡改简历、删除文件。人类纠错意愿崩溃，出现“认知投降”。即便“信任但核实”，面对AI大量输出也难实现，依赖AI还会致纠错能力退化。
Anthropic重磅研究：250份文档就能 “搞垮” 大模型？
Anthropic等团队发布研究，进行大规模投毒攻击模拟。结论是投毒大模型所需‘毒药’数量与模型大小和干净数据量无关，取决于投毒文档绝对数量，250份就能‘搞垮’模型，改变了对AI安全的认知。
250份文档就能给大模型植入后门：不分参数规模
Claude母公司Anthropic联合英国AISI和图灵研究所研究发现，仅250份恶意文档就能给不同规模大模型植入“后门”漏洞，打破了以往对大模型数据中毒的认知，给厂商提了个醒。
夯，还真的很不错，8.2k Star scroll-world，太丝滑～～～～
许多官网滚动特效不佳，scroll - world 让滚动驱动无切镜的品牌旅程。它通过生成镜头链、对齐接缝实现沉浸体验，还给出适用场景和接入方式，虽非零成本但复用了经验。