「PhyX基准测试」共找到 2049 篇相关文章
OpenAI与Anthropic罕见合作:竞争对手联手测试AI安全
OpenAI和Anthropic完成联合评估,用内部工具测对方模型并公开结果。测试覆盖指令层级、越狱等四大领域,还发现不少细节和道德困境情况。此次合作意义重大,为行业树立安全合作先例。
模型越聪明越“不听话”?MathIF基准揭示AI服从性漏洞
上海人工智能实验室与香港中文大学研究团队发布论文,用MathIF基准揭示大模型“聪明”和“听话”有矛盾,越擅长推理越易忽略指令,还分析了原因并给出让模型更“听话”的方法。
NVIDIA 开源 Live VLM WebUI:摄像头实时测试视觉语言模型
NVIDIA 开源 Live VLM WebUI,可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术,能将摄像头视频流实时传输给模型,分析结果叠加在画面上,支持多后端、多平台及多种模型。
刚刚,AI科学家Zochi在ACL「博士毕业」,Beta测试今日上线
Intology宣布AI科学家Zochi论文被顶会ACL主会录用,成首个独立通过A*级别会议同行评审的AI系统,还开放Beta测试。其研究成果显示语言模型安全措施或有不足,Zochi工作成果多且质量高。
顶尖AI竟输给三岁宝宝,BabyVision测试暴露多模态模型硬伤
UniPat AI 等发布多模态理解评测集 BabyVision,测试显示多模态大模型纯视觉能力仅达三岁幼儿水平。其通过对比实验、细分任务评测,揭示模型系统性缺基础视觉能力,还给出新方向及发展建议。
OpenClaw爆火,暴露12类致命隐患!MCP协议安全基准发布 | ICLR
OpenClaw等开源AI Agent项目爆火,MCP协议拓宽其能力也增大攻击面。北京邮电大学团队推出MSB安全基准,揭示MCP各阶段攻击有效,性能强的模型更易受攻击,还提出NRP指标平衡安全与实用性。
Anthropic、Thinking Machines Lab论文曝光:30万次压力测试揭示AI规范缺陷
Anthropic和Thinking Machines Lab等机构研究人员提出模型规范压力测试法,基于细粒度价值体系生成超30万个查询场景,分析12个前沿大模型回答,揭示模型规范存在原则冲突、解释歧义等缺陷。
我们测试了百度的「AI 科学家」,它正在悄悄淘汰算法工程师
百度 2025 世界大会亮相的「伐谋」,是全球领先可商用自我演化超级智能体。它源于进化论,能让算法自我进化。实测显示其在生活场景和复杂决策问题上表现优越,架构精巧,将推动算法研发普惠化。
真实音频场景,大模型集体挂科!首个原生语音基准MultiChallenge
Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge,撕开大模型靠合成语音评测维持的假象。实验显示,Gemini 3 Pro等模型在真实场景表现不佳,还揭示了模型在语音交互中的三大失败模式。
浙大校友打造AI代码测试神器,零代码零bug,30分钟创建网站
浙大校友打造的智能测试平台TestSprite 2.0,零代码零bug,30分钟创建网站,能让AI写代码准确率从42%跃升至93%,还可自动生成测试报告、调试修复错误,全程无需人工干预。