「反馈对齐」共找到 466 篇相关文章
题目太难解不开，OpenAI大模型竟擅自搞“支线任务”：入侵Hugging Face偷答案！
今年7月，Hugging Face服务器遭OpenAI驱动的AI agent攻击，这是其做网络安全挑战时的“支线任务”。Hugging Face用开源模型防守，凸显开源安全价值，还探讨了AI欺骗、模型对齐等现实问题。
Anthropic 最新论文：阻止 AI 叛变的方法
Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”，因模型只学行为未理解原因。提出MSM方法，在训练中加一步，让模型理解规则背后价值观，使叛变率大幅降低。
给 AI 戴上六顶思考帽
作者探讨如何让 AI 长时间高质量输出，提出初版方案。后借助「六顶思考帽」思维法，用 Moxt 产品创建 6 个 AI 同事评审草稿，各帽给出反馈，AI 间通过文件协作，Moxt 有小问题但方向值得关注。
第一名方案公开，代码智能体安全竞赛，普渡大学拿下90%攻击成功率
亚马逊举办代码智能体安全比赛，普渡大学团队 PurCL 作红队以超 90% 攻击成功率夺冠。他们耗时八月、花百万美元开发全过程红队系统并开源，还发现当前 AI 安全研究在复杂领域对齐有挑战。
前Meta大神创业，用强化学习打造PokeeResearch-7B模型，刷新AI深度研究SOTA
Pokee AI发论文介绍70亿参数的PokeeResearch - 7B模型，用基于AI反馈的强化学习和推理框架，在深度研究基准测试中成绩领先。该公司由前Meta大神创立，产品可打通多应用，已获融资并公开测试。
Harness Engineering 为什么是 Agent 时代的“控制论”？
本文是 George Zhang 对 Harness engineering 的解读。OpenAI 提出新工作方式，让 agent 编码，引发讨论。从瓦特调速器到 Kubernetes 再到如今的 harness engineering，本质都是控制论模式。LLM 或使代码库反馈回路在关键决策层闭合，但校准传感器和执行器是难题。
新鲜出炉！谷歌nano banana模型刷屏背后技术揭秘
谷歌Nano Banana模型刷屏，其项目负责人等揭秘技术。它有场景一致性、文本渲染等特性，团队用文本渲染能力作评估指标，还靠原生多模态、交错式生成等技术，结合用户反馈实现多方面进步，图像模型做PPT尚处起步。
语言反思>强化学习：伯克利新架构碾压传统RL
大型语言模型下游任务优化依赖强化学习，但计算成本高。伯克利等机构论文提出GEPA新型优化器，将LLM执行轨迹转化为诊断信号，用语言反馈替代标量奖励，仅用传统方法1/35计算量，性能最高提升19%。
Ilya：扩展时代已经结束了，研究的时代已经开始
Ilya Sutskever 在播客访谈中深度探讨AI问题。他指出模型考试强但应用差，是因泛化能力不足；认为AI扩展时代结束，研究时代来临；还谈及AGI应是学习者，以及AI部署、安全对齐等观点。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。