「安全范式」共找到 1860 篇相关文章
刚刚,Anthropic推出Claude Chrome插件,仅限1000人
Anthropic发布Claude for Chrome扩展,让Claude能在浏览器操作,仅向1000名Max计划用户开放预览。虽功能强大,但面临提示注入攻击风险。不过Anthropic有多层防护,降低了攻击成功率,并给出用户安全建议。
ChatGPT到底学了多少「污言秽语」?清华团队首提大语言模型中文语料污染治理技术
清华等团队研究发现,先进ChatGPT系列模型中文词表污染达46.6%,含色情、赌博等词元。团队定义分类中文污染词,构建识别模型,还能由词表污染估计数据污染,为语料治理提供方案。
奖励模型新革命!SWIFT不读文本读“心声”,打造又快又强又省钱的AI裁判
传统Best-of-N方法中的奖励模型成本高、速度慢,限制技术普及。上海交通大学等校研究者提出轻量级技术SWIFT,直接监听模型内部隐藏状态判断信心,效率、准确率等表现出色,为AI发展提供新范式。
xAI联合创始人出走:连马斯克都留不住顶级人才
伊戈尔·巴布什金这位效力过DeepMind和OpenAI的AI老将,助马斯克建成孟菲斯超算集群后离开xAI,创办风投公司“Babuschkin Ventures”,瞄准AI安全赛道,揭示AI行业顶尖人才的追求。
研究者警告:强化学习暗藏「策略悬崖」危机,AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法,但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战,分析其成因,解释多种对齐失败现象,并提出对AI研究的启示。
推理路径的动态调控:让大模型学会“恰到好处”的思考
当前大模型推理路径存在冗余问题,本文提出测试时提示干预框架PI(π),通过《When/How/Which》三模块协同,将人类专家经验融入推理过程,在多个STEM基准测试中缩减推理步骤、提升准确率。
超越人类标注,Meta提出CoT-Self-Instruct:如何用"推理式自进化"重塑LLM训练
大语言模型发展需海量高质量训练数据,传统人工标注困境重重,现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct,通过推理式自进化生成数据,实验证明其在多个任务上超越人类标注数据。
行业新突破:行为基础模型可实现高效的人形机器人全身控制
该综述聚焦行为基础模型(BFM)在人形机器人全身控制中的应用,梳理进展并分类算法,介绍应用与限制,还探讨未来研究机会与风险,有望引导该领域研究者和从业者。
首篇潜空间推理综述!模型思考不必依赖Token,带宽暴增2700+倍
史上首篇潜空间推理综述全面总结新兴推理范式,分析循环、递归等推理形式并总结成框架。潜空间推理用潜式思维链,带宽比显式CoT提升2700多倍,还介绍无限深度推理实现途径。
ICML 2025 Oral!北大和腾讯优图破解AI生成图像检测泛化难题:正交子空间分解
OpenAI推出GPT - 4o图像生成功能,AI生图安全挑战凸显,区分生成与真实图像成难题。北大与腾讯优图研究人员用正交子空间分解解决AI生图检测泛化难题,论文被ICML 2025接收。