「安全评测」共找到 1489 篇相关文章
DMLR 2026 | RPI Shaowu Pan（潘韶武）团队 Nithin Somasekharan等：CFDLLMBench——首个面向计算流体力学的大语言模型综合基准评测
文章介绍针对CFD领域的综合LLM评测基准CFDLLMBench，构建三层递进挑战体系。实验揭示主流LLM在‘知道’与‘做到’间有差距，多智能体框架可提升成功率，代码与数据集已开源。
别再用单选评测骗自己了！Amazon新论文揭示了大模型在多选题中的3种系统性偏差
Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。
ACL'25 | 多智能体叛变进行中？首个多智能体安全守卫G-Safeguard亮相！
随着基于LLM的多智能体系统崛起，其安全隐患凸显。中国科学技术大学等机构提出G - Safeguard安全防护框架，它基于图神经网络，通过构建多智能体话语图等方式，能有效抑制恶意信息传播，有强大防御和泛化能力。
打破大模型编程「数据污染」与「能力虚胖」困境，Meituan-M17团队构建新一代AI编程评测新标准——OIBench
当前大语言模型编程能力评估体系问题多，如评测集饱和、数据泄漏等。Meituan - M17团队推出OIBench数据集，对18个主流大模型评测，揭示模型真实水平，还将举办人机协作编程竞赛。
具身智能算法哪家强？RoboChallenge见真章！全球首个大规模真机算法评测平台来了
Dexmal原力灵机联合Hugging Face推出RoboChallenge项目，它是全球首个大规模、多任务的真实物理机器人基准评测平台。该平台创新采用‘远程机器人’架构，有30项真实任务基准集等，已验证多种算法表现。
GPT-4V仅达Level-2？全球首个多模态通才段位排行榜发布，General-Level打造多模态通用AI评测新范式
General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。
GPT-6发布，OpenAI说AGI时代来了
北京时间9月4日凌晨，OpenAI发布GPT - 6 Astra，虽发布过程狼狈，但该模型在多项评测中表现出色，如数学评测、电脑操控等，但编程类任务未全面领先，且网络安全方面部分功能被限制。
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父，后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行，有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环，且继续保持开源。
CVPR2025 | 多模态LLM评测Tutorial
多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。
最新12种GraphRAG技术全面评测
6月两篇论文对12种GraphRAG技术评测。GraphRAG通过构建图结构组织知识，在复杂推理等任务中优于传统RAG。不同GraphRAG技术在图构建、知识检索上表现各异，如RAPTOR图构建慢但令牌消耗少。