搜索：大模型安全评测

「大模型安全评测」共找到 8292 篇相关文章

32B 稠密模型推理能力超越 R1？中国秘密 AI 团队发布推理小模型 AM-Thinking-v1

2025年，国内神秘A - M - team在Hugging Face开源32B推理模型AM - Thinking - v1。它在多推理评测中击败DeepSeek - R1，与超大规模模型成绩相当。团队靠后训练方案挖掘32B模型潜力，探索小体量实现大能力路径。

多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。

过去半年，推理能力成大模型新分水岭。InfoQ研究中心评测八款热门模型，围绕五大维度，用超90%原创试题。发现各模型在不同维度表现有差异，推理模型发展正从‘一个大脑’变为‘带工具的多能智能体’。

General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。

OpenAI联合创始人兼CEO Sam Altman宣布本周不发布开源模型，因需更多安全测试。他曾透露要推可下载、自主运行且能力强的开源模型，此前6月也因安全测试推迟发布。

这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。

Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。

OpenAI和Anthropic罕见合作，互相授予API权限评估模型安全与对齐情况并发布报告。双方派出多模型参与，从指令层次、越狱、幻觉、欺骗策略等方面评测，呈现各模型优缺点。

为评估模型长程经营能力，联合淘天集团发布E-Commerce Bench，以10万本金、365天经营网店来评测。从多维度评估18个模型，结果差异大，还发现单一指标会掩盖模型表现，评估基准潜力大。

南洋理工大学研究人员构建EHRStruct基准，涵盖11项核心任务、2200个样本，用于评测LLM处理结构化电子病历的能力。研究发现通用大模型优于医学专用模型，提出的EHRMaster框架与Gemini联合后性能超现有模型。