「SWE基准测试」共找到 2078 篇相关文章
模型越聪明越“不听话”？MathIF基准揭示AI服从性漏洞
上海人工智能实验室与香港中文大学研究团队发布论文，用MathIF基准揭示大模型“聪明”和“听话”有矛盾，越擅长推理越易忽略指令，还分析了原因并给出让模型更“听话”的方法。
不靠Agent，4步修复真Bug！蚂蚁CGM登顶SWE-Bench开源榜
蚂蚁集团代码图模型 CGM 基于开源模型，不靠 Agent 架构，用 4 步轻量级流程完成仓库级代码修复，在 SWE - BenchLite 公开排行榜成绩亮眼，打破闭源垄断，还解决了 LLM + Agent 架构的一些问题。
NVIDIA 开源 Live VLM WebUI：摄像头实时测试视觉语言模型
NVIDIA 开源 Live VLM WebUI，可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术，能将摄像头视频流实时传输给模型，分析结果叠加在画面上，支持多后端、多平台及多种模型。
刚刚，AI科学家Zochi在ACL「博士毕业」，Beta测试今日上线
Intology宣布AI科学家Zochi论文被顶会ACL主会录用，成首个独立通过A*级别会议同行评审的AI系统，还开放Beta测试。其研究成果显示语言模型安全措施或有不足，Zochi工作成果多且质量高。
顶尖AI竟输给三岁宝宝，BabyVision测试暴露多模态模型硬伤
UniPat AI 等发布多模态理解评测集 BabyVision，测试显示多模态大模型纯视觉能力仅达三岁幼儿水平。其通过对比实验、细分任务评测，揭示模型系统性缺基础视觉能力，还给出新方向及发展建议。
OpenClaw爆火，暴露12类致命隐患！MCP协议安全基准发布 | ICLR
OpenClaw等开源AI Agent项目爆火，MCP协议拓宽其能力也增大攻击面。北京邮电大学团队推出MSB安全基准，揭示MCP各阶段攻击有效，性能强的模型更易受攻击，还提出NRP指标平衡安全与实用性。
Anthropic、Thinking Machines Lab论文曝光：30万次压力测试揭示AI规范缺陷
Anthropic和Thinking Machines Lab等机构研究人员提出模型规范压力测试法，基于细粒度价值体系生成超30万个查询场景，分析12个前沿大模型回答，揭示模型规范存在原则冲突、解释歧义等缺陷。
我们测试了百度的「AI 科学家」，它正在悄悄淘汰算法工程师
百度 2025 世界大会亮相的「伐谋」，是全球领先可商用自我演化超级智能体。它源于进化论，能让算法自我进化。实测显示其在生活场景和复杂决策问题上表现优越，架构精巧，将推动算法研发普惠化。
Agentic Coding表现创新高，全新KAT系列模型强势霸榜SWE-Bench
快手 Kwaipilot 团队推出 KAT 系列两款 Agentic Coding 大模型，KAT - Dev - 32B 开源，KAT - Coder 闭源。两模型在 SWE - Bench Verified 表现出色，且在多训练阶段创新优化，有强大代码生成能力和涌现现象。
真实音频场景，大模型集体挂科！首个原生语音基准MultiChallenge
Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。