算法论文8
Anthropic找到防止AI“发疯”防线
AIGC开放社区
AI 摘要
Anthropic和牛津大学研究:大模型是百变演员,AI助理易在对话中漂移,导致危险行为。还揭示助理轴原理,并提出激活上限技术,可有效防止模型越界,保障安全。
阅读原文 · AIGC开放社区
一个模型千万个灵魂!Anthropic找到了防止AI陷入疯狂的防线
Anthropic和牛津大学研究发现,大模型的AI助理角色易在长对话中漂移崩塌,致其陷入幻觉。研究解析助理轴,揭示模型人格定位,还提出激活上限技术,能在保能力的同时降低有害回复率。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
Fable 5.1泄露,Claude全球大宕机!
今日,Fable 5.1被曝开启灰度测试,部分Claude用户已免费试用。推测其可能很快全量推送且不涨价。此前Fable 5因性能强受限,开发者期待5.1版。同日Claude全球大宕机,Anthropic正冲刺万亿估值。
新智元
新闻资讯7
Anthropic营收反超OpenAI,IPO占优
IPO前夕,Anthropic最新年化营收达650亿美元,8个月翻超7倍,反超OpenAI。双方在资本市场竞争激烈,A社在起跑时间、财务、商业模式上占优,但OpenAI用户规模和产品生态占优,目前A社牌面更好。
量子位
新闻资讯7
Anthropic雪藏Mythos 2,秘密研发Mythos 3
SemiAnalysis内部播客爆料,Anthropic新模型Mythos 2训练完成却被雪藏,正用其生成数据研发Mythos 3。Anthropic曾呼吁监管,如今自食其果。此外,OpenAI的Astra也因安全问题暂停部分活动。
新智元
新闻资讯8
Anthropic年化营收破650亿冲刺IPO
据彭博社报道,截至今年7月底,Anthropic年化营收运行率达650亿美元,数月间增长至原来7倍多,Q2初步收入是去年同期约14.6倍。其正向调整后营业利润显现经营杠杆,或10月上市,估值超2万亿美元。
机器之心