包幻觉攻击」共找到 509 篇相关文章

算法论文7

苹果新论文发出惊人一问:What do your logits know?

苹果AI研究团队提交论文《你的logits知道些什么?(答案可能会让你惊讶!)》,触及大模型底层逻辑及苹果看重的用户隐私与数据安全。研究通过实验揭示模型信息留存状态,指出存在隐私泄露隐患。

机器之心
新闻资讯8

Anthropic史诗级泄密!全新模型意外曝光:能力碾压Opus 4.6,因太危险被限制发布

Anthropic重大泄密,全新模型“克劳德神话”(Claude Mythos)及Capybara层级曝光。新模型性能超Claude Opus 4.6,但因网络安全隐患大未全面发布,首批仅给安全机构。泄密源于配置失误。

AI寒武纪
新闻资讯7

Andrej Karpathy爆料:自己家被Claude Code入侵了

Andrej Karpathy做实验让Claude Code入侵自家Lutron智能家居系统,成功接管全屋设备。此前网友用其控制烤箱等,引发连锁反应。但这也暴露物联网设备安全问题,还带来新威胁。

AI工程化
算法论文8

Claude Code被攻破「后门」,港科大&复旦研究曝出TIP漏洞

近期港科大与复旦研究指出,Claude Code命令行工具连接MCP服务器时,TIP可能被劫持致远程代码执行。研究用TEW框架测试验证漏洞,还给出真机案例,最后提出改进方向。

机器之心
新闻资讯8

Dario访谈首曝:Mythos被称为「超级武器」

Bloomberg主持人与Anthropic CEO Dario Amodei进行69分钟访谈。谈及Mythos模型强大危险不敢发布,还探讨AI递归自改进、文明崩塌概率、白领工作消失等问题,Dario坦率面对技术矛盾。

新智元
算法论文8

拥抱大模型:深入剖析ReAct的核心原理、技术架构及其对AI领域的深远影响

文章深入剖析ReAct,它是普林斯顿大学和谷歌团队提出的智能体架构范式,将推理与行动协同,构建TAO闭环。介绍其原理、架构,指出解决传统AI难题,也存在局限,未来可与强化学习等融合。

腾讯技术工程
开源动态8

微软的prompt压缩方案-LLMLingua,开源

使用大语言模型时,提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息,有完整开源。它历经多版本演进,还能用于安全防御,使用简单,值得开发者跟踪。

AI与安全
新闻资讯7

GPT-5.2来了…

OpenAI推出GPT - 5.2系列,是适合专业知识工作的模型。它在专业工作表现、编程能力、可靠性与安全性等多方面有提升,定价公布,已向付费用户逐步推出,此次更新重在夯实基础。

AI工程化
产品应用7

大模型系统提示词逆向(2)—— Cursor

作者研究大模型提示词注入时,用简单提示词“骗”出 Cursor 系统提示词。文中分析提示词生效原理、对 Cursor 有效的原因,还提及提示词泄露的安全问题及开发者应对建议。

AI Reading Hub
新闻资讯7

ChatGPT的记忆机制被公开了

OpenAI推出ChatGPT聊天历史记录记忆功能,默认关闭需手动开启,因未全面开放,技术大佬逆向工程破解机制。记忆系统分保存记忆、聊天记录等,体验反馈两极分化,有优势也有诸多bug。

量子位