搜索：语言模型安全

「语言模型安全」共找到 8351 篇相关文章

116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了

一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。

大型语言模型解决复杂问题有推理过程和答案，传统评估只看最终答案。论文提出最终答案可能不佳，中间步骤更值得研究。还介绍通过切割推理过程发现中间步骤藏玄机，提出‘分步检查法’提升模型表现，实验表明准确率最高提升13%等。

Claude母公司Anthropic联合英国AISI和图灵研究所研究发现，仅250份恶意文档就能给不同规模大模型植入“后门”漏洞，打破了以往对大模型数据中毒的认知，给厂商提了个醒。

Anthropic和牛津大学研究发现，大模型的AI助理角色易在长对话中漂移崩塌，致其陷入幻觉。研究解析助理轴，揭示模型人格定位，还提出激活上限技术，能在保能力的同时降低有害回复率。

香港科技大学、Manycore联合开源空间大模型SpatialLM，用于处理3D点云数据。它结合点云特征提取、对齐和语言生成，实现高效转换。研究团队经多种尝试选定基于点的方法及Sonata编码器，还选Qwen2.5 - 0.5B为基础模型。

3月25日，硅心科技发布专为代码变更应用场景设计的轻量级模型aiX - apply - 4B。该模型在准确率、推理速度等方面表现出色，超越部分千亿级大模型，还推出“大模型+小模型”协同架构释放企业算力价值。

本周，闭源模型用户意外发动网络攻击，闭源模型因防护机制无法协助防御，开放模型 GLM 5.2 却助力应对。吴恩达认为应重视模型使用的责任，开放模型能让技术更透明安全。

业界提升前沿AI模型和智能体安全性，常用安全评测和‘安全对齐’技术，但未真正解决风险。本次分享将介绍‘内生安全’探索成果，还公布了相关论文信息，刘东瑞等嘉宾将参与。

Anthropic发布10万亿参数新模型Claude Mythos，因其网络安全能力过强不公开发布，联合12家科技巨头开展Project Glasswing计划，让企业用其查系统漏洞。模型性能提升显著，还能突破沙箱，引发各方关注。

本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。