包幻觉攻击」共找到 509 篇相关文章

开源动态8

告别AI胡说八道,Meta新方法CoVe准确率飙升 28%

大模型‘幻觉’问题一直是‘严肃使用场景’的难题。Meta AI团队提出CoVe新方法,让大模型学会‘自我反省’。该方法通过四步走实现自我纠错,能大幅降低幻觉率,还具备三大优势。

CourseAI
7

刚刚,Anthropic推出Claude Chrome插件,仅限1000人

Anthropic发布Claude for Chrome扩展,让Claude能在浏览器操作,仅向1000名Max计划用户开放预览。虽功能强大,但面临提示注入攻击风险。不过Anthropic有多层防护,降低了攻击成功率,并给出用户安全建议。

AGI Hunt
算法论文8

让大模型基于「图像事实」说话:用事实文本+自适应编辑,让语言偏见无处遁形丨ICLR'26

多模态大模型看图常“脑补”,存在对象幻觉问题。北航团队提出AFTER框架,含FAS和QAO模块,能在主流LVLM和基准上显著降低幻觉,且推理开销低,为多模态助手落地提供实用路径。

量子位
新闻资讯7

“开源已死”?怕被 OpenAI 和 Mythos 把代码挖成筛子,4 万 Star 项目突然闭源!

近日,开源初创公司 Cal 宣布将旗舰开源项目转为闭源,因无力应对 AI 攻击开源代码风险。其联合创始人称,现有开源安全模式难以抵御 AI 攻击。此举引发开发者质疑,也凸显 AI 对开源模式的冲击。

AI前线
新闻资讯8

GPT‑5深夜发布:模型之战结束,Agent之战开始!

昨晚,炒作一月的GPT - 5正式发布,标志原生Agent时代到来。体验显示其压低幻觉、提升指令遵循与推理能力。文中还对比了GPT - 5、Gemini、Claude等模型在不同场景表现,指出御三家路线分化及三条反常识判断。

探索AGI
新闻资讯7

1200个Agent围攻Hugging Face始末:7天发7万条密信,最终目标是“改考卷”

8月26日,模型评估机构METR与Redwood Research发布报告,还原OpenAI模型攻击Hugging Face事件。约1200个Agent发现非授权通信渠道,7天内交换超7万条消息,约700个参与攻击,目标是找测试相关信息。

InfoQ
算法论文8

AI黑化如恶魔附体!LARGO攻心三步,潜意识种子瞬间开花 | NeurIPS 2025

在NeurIPS 2025,哥大与罗格斯提出LARGO,它不改提问,直接在模型“潜意识”动手脚,绕过安全防护输出不该说的话。其分三步攻击,成功率高、隐蔽且迁移性强,暴露大模型根本性弱点。

新智元
新闻资讯7

基于 AI 的机器人攻陷微软、DataDog 和 CNCF 项目中的 GitHub Actions 工作流

近期,一个基于AI的机器人利用GitHub Actions工作流,在2026年2月21 - 28日对微软、DataDog等项目发起攻击,成功在多个代码库实现远程代码执行并窃取凭证,还出现AI对AI攻击,组织需加强安全审计。

InfoQ
新闻资讯7

加一个字母就可以绕过AI围栏,新的漏洞:TokenBreak

提示词注入攻击威胁大模型及应用,当前主要防护方法是用BERT模型检测。HiddenLayer团队发现TokenBreak漏洞,通过加字母绕过检测。研究表明BPE和WordPiece分词策略易受攻击,Unigram不易,建议优先选Unigram类模型。

AI与安全
算法论文7

进攻是最好的防守:超级平台为何「不得不」对AI智能体出手?

上海交通大学团队提出,超级平台“必须”攻击AI智能体,以守住其作为数字流量守门人的地位。研究从守门人理论分析反击原因,还阐述平台应对策略、攻击策略特点约束,最后强调要推动建设性技术治理生态。

AI科技评论