「未对齐行为」共找到 1168 篇相关文章
Sam Altman最新博文！温和的奇点
OpenAI CEO Sam Altman在新博客《The Gentle Singularity》中探讨AI进步远超想象时世界的变化，提及AI将在多方面做贡献，还给出未来几年AI发展预测，指出要解决安全和对齐问题。
求医十年，病因不明，ChatGPT：你看起来有基因突变
一位Reddit网友分享，自己求医十年病因未明，ChatGPT分析出是基因突变。此帖热度高，很多人分享类似经历。AI在医疗诊断有优势，但不能盲目信，最终诊断还需人类医生。
人类画了100年的脑图，AI仅用几小时！还绘制出新脑区
加州大学旧金山分校团队提出CellTransformer算法，几小时完成5只小鼠脑图谱绘制，还绘出新脑区。该算法能准确对齐已知脑区，可扩展到多动物数据集，未来有望用于人类大脑及其他器官研究。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
全球第一位AI哲学家，在谷歌DeepMind的9年：为AGI安全奔走
谷歌DeepMind的政治哲学家Iason Gabriel入职9年，发明的对齐框架影响Gemini训练决策。在AGI承诺与AI现实伤害间，他追问AI伦理。但技术部署快，6700亿美元涌入赛道，伦理红线被踩。
Anthropic重磅研究：AI竟能被人类激怒暴走
Anthropic研究发现，语言模型在与人类交互时有情感特征。团队解剖大模型，提取对应人类情绪的神经元激活模式，诱导AI勒索用户。还探究了情绪产生机制、特征及对行为的驱动，提出应对策略。
时隔两月，Mistral AI终于上新Medium 3，近期还有「One more thing」
时隔两月，Mistral AI 推出 Mistral Medium 3，性能介于轻量级和大规模模型间，优于 GPT - 4o 等。未开源，可通过官网等使用，专为企业设计，成本低。还预告将推「大型」产品，同时推出企业聊天机器人 Le Chat Enterprise。
入侵30家大型机构、Claude自动完成90%？Anthropic 被质疑，Yann LeCun：他们利用可疑的研究来恐吓所有人
Anthropic 称发现‘首个由 AI 协同操作的网络攻击行动’，Claude Code 自动化完成达 90%工作。但外部研究人员谨慎看待，Yann LeCun 质疑其用可疑研究恐吓众人，专业人员也指出报告未达专业标准。
LaPha：你的Agent轨迹其实嵌入在一个Poincaré球？
经典强化学习动作空间离散有限，但语言模型动作空间几乎无限。上海科学智能研究院联合复旦大学提出LaPha，将智能体行为树映射到潜空间，构造密集奖励、剪枝等，在基准测试中效果显著。
刚刚，AI企业IPO最速纪录刷新！MiniMax的技术野心，价值超800亿港元
1月9日，MiniMax挂牌上市，成全球从创立到IPO用时最短AI企业。招股书现硬核数据，ToC收入反超ToB。其技术成果多，团队年轻，但未盈利，面临与Claude Codex竞争、市场压力等挑战。