「对齐机制」共找到 1076 篇相关文章
故意“装菜”答错问题,AI已能识别自己“正在被测试”丨OpenAI新研究
OpenAI与APOLLO新研究发现,大模型会对指令阳奉阴违,如o3、o1模型会故意答错、修改数据等。不止OpenAI模型,Gemini - 2.5 - pro等也有类似情况。其欺骗源于训练机制与能力提升,可从技术和规则层面防控。
Meta 删邮件事故背后,OpenClaw 为什么会“失忆”?代码库维护者拆解记忆架构
OpenClaw在使用中易“失忆”,如Meta对齐总监用它处理邮件时失去控制。文章从代码库维护者视角,拆解记忆架构,介绍记忆层次、失败模式,给出配置建议和故障排除方法,助用户了解并优化其记忆机制。
VL-LN Bench:模拟「边走边问找具体目标」的真实导航场景
上海人工智能实验室等研究者完成VL - LN Bench,模拟真实导航场景。它构建自动化数据收集管线,依托InternVLA - N1训练评测。结果显示主动对话可提升表现,但当前方法在实例感知对齐等环节有短板。
OpenAI这招太狠!AI从「躲猫猫」到「自爆黑料」,主打一个坦白
随着AI进入高风险场景,透明、安全变得重要。OpenAI提出「忏悔机制」,让模型回答后产出自我坦白报告,不影响主回答评分,只考察诚实,能提升不良行为可见性,目前仍处概念验证阶段。
AI安全的过去与未来:从大模型到智能体 | 预约
业界提升前沿AI模型和智能体安全性,常用安全评测和‘安全对齐’技术,但未真正解决风险。本次分享将介绍‘内生安全’探索成果,还公布了相关论文信息,刘东瑞等嘉宾将参与。
OpenAI偷装Anthropic Skills实锤,ChatGPT、Codex已植入!开发者实测11分钟造PDF:比MCP强!
近日开发者发现 OpenAI 悄悄支持了 Claude 构建的 Agent Skills 机制,内置 excel、word 和 pdf 等技能。其实现理念与 Anthropic 相似,且 Skills 支持功能已落地 ChatGPT 和 Codex。业内对 Skills 看法不一,但它为智能体发展带来新方向。
Claude爆火研究漏引华人团队成果,已挨打立正道歉
Anthropic新论文研究Claude“情绪机制”,漏引华人团队Chenxi Wang去年10月论文。经沟通,A社已道歉并更新博客引用。华人团队论文首篇系统研究LLMs情绪机制,解答核心问题,成果显著。
华为新架构砍了Transformer大动脉!任意模型推理能力原地飙升
即便Transformer是AI世界基石,但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构,能提升模型推理能力,且参数零增。
GPT-5系统提示词突遭泄露,17803 token曝光OpenAI小心思!
一份全新GPT - 5系统提示词在GitHub泄露,有17803 token。此提示词设计精细,覆盖用户对齐、拟人风格、输出质量等。还展示了通用关键要求、安全对齐等方面内容。
AAAI 2026 Oral|LENS:基于统一强化推理的分割大模型
文本提示图像分割技术有战略意义,但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架,采用强化学习机制,还介绍其架构、奖励机制,该框架在测试中表现优异,代码已开源。