搜索：大模型安全评测

「大模型安全评测」共找到 8287 篇相关文章

九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了

OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。

南洋理工等机构团队提出基于文言文语境的自动化黑盒测试框架CC - BOS，利用果蝇算法和8维策略空间，暴露主流大语言模型安全盲区，实验显示对6款主流模型攻击成功率达100%。

MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。

在数字内容爆炸式增长下，传统内容审核模式难应对挑战。快手安全算法中心负责人刘梦怡分享自研多模态大模型技术方案与应用实践，涵盖架构、数据、训练等，还介绍审核智能化应用及未来展望。

Fortune爆出Anthropic因CMS配置失误，致新模型Claude Mythos信息泄露。该模型有阶跃式进步，在多领域表现超前代，网络安全能力突出。此事反映AI迭代快但安全待提升，安全成模型评估关键。

实时视频世界模型成热门，Loopit发布的实时互动世界模型Zing - 0.5在评测中获第一且已开源。该公司提出独特观点，认为实时视频非世界，互动应“模应一体”，还指出抵达端到端终局的新路径。

腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。

卢森堡大学等研究探索小模型驾驭Skills的边界。工业界因数据安全渴望开源小模型，智能体Skills框架让小模型性能暴增。研究拆解小模型处理复杂任务的方法，还验证不同策略有效性，发现代码专用模型优势。

OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。

大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。