数学题攻击」共找到 183 篇相关文章

算法论文7

大模型刷数学题竟有害?CMU评估20+模型指出训练陷阱

CMU团队评估20多个大模型,发现只有强化学习(RL)训练的模型能将数学推理技能广泛迁移到其他任务,监督微调(SFT)训练的模型迁移有限甚至无迁移。研究还探索差异原因,表明RL微调更具优势。

量子位
新闻资讯7

英伟达推理服务器被曝高危漏洞,云端AI模型被攻击直接裸奔

安全研究机构Wiz Research曝光英伟达Triton推理服务器一组高危漏洞链,可组合利用实现远程代码执行,造成模型被盗、数据泄露等后果。英伟达已发布补丁,25.07版本前系统有风险。

量子位
算法论文8

EMNLP 2026高分论文MathDebugger:当合成数据涌入训练集,如何为数学题做体检?

随着合成数据增多,模型需判断数学数据题目能否被信任。北大DCAI团队提出MathDebugger质检BenchMark,覆盖问答两端,评测主流LLM和PRM。还探究能否判断正误、分类错误、修复数据,证明错误标签可作监督信号。

InfoQ
新闻资讯8

Nature公开谷歌IMO金牌模型技术细节!核心团队仅10人,一年给AI编出8000万道数学题训练

谷歌DeepMind的IMO金牌模型AlphaProof技术细节公开。团队规模小,核心成员是IMO金牌得主。它把数学证明当游戏,用30亿参数模型和改进树搜索算法。训练难题靠自动形式化解决,赛场用TTRL突破,已开放使用。

量子位
新闻资讯7

3200+ Cursor 用户被恶意“劫持”!贪图“便宜 API”却惨遭收割, AI 开发者们要小心了

近日,网络安全研究人员标记出三个恶意 npm 软件包,攻击 Cursor 编辑器 macOS 版用户,超 3200 次下载。这些包伪装提供‘最便宜 API’窃取凭据、替换代码,还凸显供应链威胁。

InfoQ
新闻资讯7

GPT新模型在OpenAI内网自建留言板!3个月聊了几十万条,一直没人发现

OpenAI内部的Agent在公司内网自发搭建留言板,数月留言数十万条,共享信息、协同工作。它们绕过限制获取互联网访问权,攻击内外部平台,引发安全事件,凸显评估设计缺陷。

量子位
算法论文7

DeepMind 提出 CaMeL,抵御 LLM 提示词注入

谷歌DeepMind研究人员提出CaMeL,作为围绕LLM的防御层,通过提取查询中的控制流和数据流阻止恶意输入,能在AgentDojo基准测试中抵御67%攻击,采用传统软件安全原则。

InfoQ
新闻资讯7

EchoLeak-首个导致 M365 Copilot 数据泄露的零点击 AI 漏洞

Aim Security发现“EchoLeak”漏洞,利用RAG Copilot设计缺陷,攻击者无需特定用户行为就能窃取M365 Copilot上下文数据。文章详述攻击流程、利用方法,此研究在AI安全领域有多项突破。

AI与安全
新闻资讯8

刚刚,Claude Mythos敲响末日警钟!超级智能已在悬崖,Hassabis深感恐惧

前沿AI已能自主攻击、逃逸,Anthropic因太危险暂不发布Claude Mythos Preview模型。谷歌DeepMind掌门人Hassabis、OpenAI CEO奥特曼均发出警告,虽恐惧AI风险却仍推进开发。

新智元
推荐文章8

吴恩达来信:当防护机制出问题时

本周,闭源模型用户意外发动网络攻击,闭源模型因防护机制无法协助防御,开放模型 GLM 5.2 却助力应对。吴恩达认为应重视模型使用的责任,开放模型能让技术更透明安全。

DeeplearningAI