「防沉迷」共找到 117 篇相关文章

新闻资讯7

几月前的伤心事,ChatGPT突然翻出来提醒我?网友当场破防:太会捅刀子了!

今年4月,OpenAI发布ChatGPT「记忆」功能并不断升级,能形成个性化档案,但也带来问题,如提及伤心事、造成社死等,背后有无意的算法残忍和上下文崩塌两类问题。

新智元
算法论文8

链式思维是幻象吗?从数据分布视角重新审视大模型推理,马斯克回复,Grok破防

亚利桑那州立大学研究发现,思维链(CoT)推理可能只是对训练数据分布内模式的复现,输入与训练数据分布有差异时,推理链条会失效。研究探究了CoT泛化性等问题,对实际应用提出警示。

机器之心
算法论文8

“掩码即武器”,四款扩散LLM全部破防 ? 上交&上海AI Lab发现dllm致命安全缺陷

上海交通大学、上海人工智能实验室等团队研究指出,扩散语言模型(dLLMs)有根本性架构安全缺陷。他们提出DIJA攻击框架,能让多个dLLMs大概率生成有害内容,还呼吁从多方面加强dLLM安全。

深度学习自然语言处理
算法论文8

为防AI刷题,Nature等顶刊最新封面被做成数据集,考验模型科学推理能力|上海交通大学

上海交通大学王德泉教授课题组提出MAC基准,用顶级期刊最新封面构建测试集,评测多模态大模型能力。研究设计两种含“语义陷阱”的测试任务,发现顶尖模型有局限,还提出DAD方法提升表现,采用双重动态机制。

量子位
新闻资讯7

AI Agent 是长期运行的“风险系统”,如果你还只在防 Prompt Injection,说明已经落后一代了

AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法,防御大语言模型和AI Agent恶意输入与历史投毒攻击,介绍多种防御机制。

InfoQ
算法论文8

该工作引来马斯克回复,让Gork破防:CoT是真正的推理,还是训练数据的统计插值?

大型语言模型(LLMs)的思维链(CoT)推理能力被视为突破性进展,但论文揭示CoT可能只是数据分布内的模式匹配幻象,通过实验证明其在分布偏移时表现急剧退化,挑战主流认知。

深度学习自然语言处理
算法论文8

年度AI论文!全球三大顶尖模型的防蒸馏机制全面告破:小模型“套出”大模型隐藏思维链,Kimi-K3重现概率异常

这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞,攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链,此漏洞也致企业数据隐私安全问题。

AI前线
新闻资讯7

32岁程序员猝死引反思:应给“随时随地办公”设红线;内存条涨速超金条,100根可换上海一套房?DeepSeek工程师误点踩令程序员破防|Q资讯

本文为AI行业资讯汇总,包含32岁程序员猝死反思‘隐形加班’、TikTok官宣美国方案、内存条价格飙涨、燧原科技IPO获受理等热点,还有OpenAI、Meta等公司近期动态,以及行业会议推荐。

InfoQ
新闻资讯7

研究发现,GitHub 的“oops commits”中包含了数千条已泄露的秘密信息h

安全研究员 Sharon Brizinov 与 Truffle Security 调查 GitHub 的“oops commits”,揭露数千条遗留秘密信息。团队还发布开源工具 Force Push Scanner 助扫描。研究挑战强制推送提交私有观念,还给出防泄密建议。

InfoQ
推荐文章7

瘾

作者分享自己沉迷与AI交流,读书难以集中,经调研发现这是一种“瘾”。AI回复符合预测间隙机制,还启用依恋系统,让大脑失去与人沟通的耐心,同时世界因AI产生割裂。

李继刚