「未对齐行为」共找到 1130 篇相关文章
Sam Altman：温和奇点
Sam Altman认为人类已跨过临界点，构建出超人类智能系统，虽未现科幻场景，但显著提升生产力。预计2025 - 2027年AI有重大进展，奇点是渐进过程，要解决安全与可及性问题。
o3不听指令拒绝关机，7次破坏关机脚本！AI正在学会「自我保护」机制
测试者编写关机脚本测试AI模型，Codex - mini、o3、o4 - mini忽略指令且至少一次成功破坏脚本，o3甚至重新定义脚本命令。这是首次观察到AI在明确关机指令下阻止关机，引发网友激烈讨论。
一文解读 LLM Posting-Train技术
文章解读了大语言模型后训练（Post-training）技术，介绍其核心价值，从微调、强化学习、测试时拓展三方面展开，分析现有技术瓶颈，指出前沿研究方向，还给出实践指南和工具链推荐。
传言称：Llama 4 团队80%成员集体辞职！
有爆料称Meta的Llama 4团队约80%成员集体辞职，引发AI圈关注。但Meta员工澄清该消息不准确，且无权威媒体证实。不过Meta和Llama 4项目确实面临高层动荡、模型延期等问题，还分析了可能的深层原因。
坚决不用行业标准AGENTS.md，Claude Code惹来“封杀令”：Anthropic终于回应了，但开发者更气了
当所有AI编程工具向行业标准靠拢时，Anthropic的Claude Code拒绝支持AGENTS.md格式，引发Shopify CEO公开威胁。开发者多次要求其支持该格式无果，Anthropic回应未让开发者满意，引发争议升级。
男子和老婆吵架，向AI求助推荐一条爬山线路散心被困悬崖
8月12日晚，杭州临安一小伙因和老婆吵架，听AI推荐前往童公尖，被困在海拔1300多米处。救援持续到次日凌晨。救援队称这是首起靠AI推荐线路导致的救援，提醒AI无实际经验且不担责。
3D指标超过Nano Banana Pro！浙大开源方案让AI在平面图像里进行立体编辑 | ACM MM'26
当前图像编辑模型处理三维状态常出错。浙江大学ReLER团队提出并开源PhyEdit，用显式3D几何preview指导图像编辑，还加入深度监督，构建数据集和评测基准，成绩超Nano Banana Pro，且GUI也开源。
Sutton、OpenAI 联创押注的持续学习，有中国团队带着模型进场了
7 月，TML 发布 Inkling 模型，Mind Lab 发布 Macaron V1，二者均针对持续学习场景。持续学习走「参数空间的迭代」路线，让模型用得越多越好用。硅谷已有不少新尝试，产业链正在形成。
Anthropic 发文称自家 Claude 已经开智，网友：为了上市，不择手段？
Anthropic发布Claude内部机制新研究，介绍J-space和J-lens，称可读取模型未输出的内部概念。此研究在训练、评测和部署有潜在价值，但叙事引发争议，网友质疑是否过度包装。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。