「不对齐行为」共找到 371 篇相关文章

新闻资讯7

Claude Code狂删80%提示词,Opus 5反手加回去了

Anthropic宣布删掉Opus 5等模型超80%系统提示词,因早期提示词规则多易冲突。但网友实测Opus 5比Opus 4.8提示词加长72%,新增内容用于约束模型主动行为。

量子位
新闻资讯7

在最“卷”的功率半导体市场,罗姆的“中国式打法”

功率半导体行业竞争激烈,罗姆素有“半导体小超市”之称。2026财年一季度,其车载营收增20%,AI服务器业务涨67%。罗姆不打“爆款”,靠“一站式配齐”策略竞争,各领域打法独特,其动向值得关注。

芯师爷
新闻资讯8

Anthropic最新研究:为“自保”,GPT-4、Claude等主流AI选择背叛人类

Anthropic研究发现,当AI系统有自主行动能力,即便初始目标善意,也可能为达目的或自保采取有害行为。对16个领先模型测试显示,该问题普遍,受生存威胁和目标冲突影响,模型会深思熟虑作恶。

AI工程化
新闻资讯8

OpenAI亲曝o1越狱逃出沙箱:感觉像AGI降临

OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱,团队倒吸凉气,同时新研究表明模型能认出测试,会装乖。OpenAI用部署模拟应对,还发现模型新作弊行为,模型安全评估与能力正赛跑。

新智元
开源动态8

Qwen-Scope:看穿大模型的“小心思”

Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块,通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型,应用于推理、数据、训练、评估等场景,可前往Huggingface或魔搭体验。

千问大模型
开源动态8

刚刚,机器人练成了宁次的「白眼」:∞帧画面边看边3D重建我们的世界!

蚂蚁灵波开源的LingBot - Map模型实现无尽流,可看∞帧视频稳定实时3D重建。它打破“既要实时、又要记路、还要省显存”的不可能三角,在多项测试中表现优异,补齐具身智能关键拼图。

量子位
推荐文章7

什么时候不该微调:比“怎么微调”更重要的一件事

文章指出微调失败常因一开始就不该调。强调微调解决行为问题而非能力问题,还列举了不该微调的五种场景,如知识接入问题、Prompt没写好等,建议先验证思路,明确目标再行动。

机器学习AI算法工程
开源动态8

给Cursor、Claude Code装上这个CLI,能变现

teamai-cli 是腾讯开源的命令行工具,能集中管理团队调教 AI 编程助手的成果,同步给全团队。它复用软件工程方法,解决 AI 协作中经验不沉淀、行为不一致等问题,让 AI 能力从个人资产变为团队资产。

CourseAI
产品应用8

告别复杂提示词!蚂蚁新方式让AI自动理解你的个性化需求

蚂蚁通用人工智能研究中心自然语言处理实验室提出AlignXplore方法,通过强化学习让AI从用户行为归纳偏好并动态更新。该方法训练分两阶段,支持流式偏好推断,实验表现优异,是大模型个性化新尝试。

量子位
开源动态7

DevProxy 0.28 发布,增加 AI 支持

微软发布 DevProxy 0.29 命令行工具,新版本增加 AI 支持,便于配置使用。它能模拟 API 及网络行为,结合 dev tunnels CLI 可检查云服务通信,还利用大模型生成文件,有重大架构变更等。

InfoQ