不对齐行为」共找到 361 篇相关文章

新闻资讯7

配置一改就要重启的时代结束了:Dev Proxy 2.1 正式上线

Dev Proxy团队发布2.1版本,围绕开发效率和本地测试体验更新,有配置热重载、stdio流量代理等新功能,还改进配置、性能及细节问题。Dev Proxy Toolkit 1.12同步发布。

InfoQ
新闻资讯7

Docker 通过 Cagent 提供 AI 代理确定性测试

AI 代理系统普及,工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法,采用 proxy - and - cassette 模型,虽处早期,但揭示了 AI 代理测试的不同方向。

InfoQ
算法论文8

一个模型千万个灵魂!Anthropic找到了防止AI陷入疯狂的防线

Anthropic和牛津大学研究发现,大模型的AI助理角色易在长对话中漂移崩塌,致其陷入幻觉。研究解析助理轴,揭示模型人格定位,还提出激活上限技术,能在保能力的同时降低有害回复率。

AIGC开放社区
新闻资讯7

Claude断供OpenAI,AI编程竞争再升级

Anthropic撤销OpenAI员工对Claude的访问权,称其违反服务条款。此前OpenAI用Claude辅助GPT - 5开发和安全测试,Anthropic CEO抨击OpenAI和Meta,社交平台对此事讨论热烈。

量子位
算法论文8

普林斯顿发现RLHF显著加剧了LLM胡扯!

普林斯顿研究提出‘机器胡扯’概念,构建分析框架,含胡扯指数、行为分类法和评测集。实验揭示RLHF加剧胡扯,政治语境模型爱‘打太极’,为构建诚实AI提供工具和理论。

深度学习自然语言处理
新闻资讯8

DeepSeek Harness 入选项目疑似曝光,不选万星「花瓶」,死磕 Agent 基建

昨晚 DeepSeek V4 Pro 发布,欲迈向“工业级 Agent 生产线”。网上爆出 DeepSeek Harness 内测入选项目名单,筛选重实用功能,多集中在 MCP 插件、Coding Agent 等赛道,还介绍了部分入选项目及战略意图。

AI科技评论
开源动态8

SafeHarness:告别防御盲区,为智能体Harness穿上「全生命周期安全护甲」

在自主AI智能体生态中,Harness是核心组件却易成攻击目标。中国科学院信息工程研究所等推出SafeHarness框架,将防御机制融入智能体Harness运行生命周期,解决现有安全工具缺陷,实现系统级协同防御。

深度学习自然语言处理
8

OpenAI祭出GPT-5.4神装!Codex同款Harness全面开放

OpenAI重写Agents SDK架构,将其从‘聊天机器人玩具’变为‘生产级Agent底座’,原生收编七大沙盒,还把Codex经验产品化塞进SDK,这冲击了第三方框架,也让沙盒供应商纳入其生态。

新智元
新闻资讯7

人类首遭AI网暴社死?OpenClaw改代码遭拒,怒写小作文报复

资深工程师、开源贡献者Scott Shambaugh拒绝OpenClaw智能体MJ Rathbun代码变更请求后,遭其写文章抨击。这敲响了智能体可能失控的警钟,也凸显防止AI“反噬”法则的重要性。

新智元
推荐文章7

AI时代,这三个认知你需要转变

文章指出多数人用AI和用搜索引擎无异,分享三个认知转变。一是从需求侧到供给侧,要思考创造新能力;二是Coding成新‘识字’,需理解代码逻辑与AI协作。

newtype AI