「基准评测」共找到 1370 篇相关文章
AI最尴尬的短板，中国科学院出手了
7月24日，中科院计算所“知境”团队发布知境社会心智大模型技术体系，为现有大模型补社会心智短板。其建评测体系SoMBench，设计训练系统Zing，用部署架构Actio，在多评测超越GPT - 5.5等，应用前景广。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父，后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行，有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环，且继续保持开源。
为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。
0%通过率！Code神话泡沫！LiveCodeBench Pro发布！
国际算法奥赛金牌得主团队测试20个顶级大模型，在584道编程赛题上，高难度题目AI通过率为0%。论文发布LiveCodeBench Pro评测方法，揭示AI编程能力神话泡沫，指出其问题并给出提升方向。
代码榜刷满分，AI科研却撞墙？140道真实研究题撕开「自进化」真相
新工作MLS - Bench覆盖12领域、140个研究任务，评测前沿模型科研能力。虽模型工程执行强，但科学发现能力弱，当前仍难提出有效算法创新。其评测已纳入Kimi K3和Qwen3.8 - Max官方发版表。
三大核心创新公开，快手开源多模态Keye-VL 1.5拿下视频理解SOTA，8B力压GPT-4o！
快手开源多模态Keye-VL 1.5，为8B视频理解最强模型，公开3大核心创新技术。它靠Slow-Fast视频编码等，在20+基准屠榜。在多类基准测试和内部测评中表现优异，将业务经验沉淀到开源社区。
字节Seed开源长线记忆多模态Agent，像人一样能听会看
字节Seed发布全新多模态智能体框架M3 - Agent，能听会看、有长期记忆且免费开源。团队还开发新长视频问答基准M3 - Bench并开源。实验显示，M3 - Agent在多基准测试中显著优于基线模型。
开源模型首次物理奥赛IPhO夺金！上海AI Lab 235B模型击败GPT-5和Grok-4
上海AI Lab的P1 - 235B - A22B在国际物理奥林匹克竞赛夺金，在HiPhO基准测试获12金1银，超越GPT - 5等闭源模型。团队构建HiPhO基准测试，用多阶段强化学习训练模型，开发PhysicsMinions系统提升推理能力。
GPT-5编程测评大反转！表面不及格，实际63.1%的任务没交卷，全算上成绩比Claude高一倍
Scale AI的新软件工程基准SWE - BENCH PRO测试中，‘御三家’表面解决率低。深入看，GPT - 5已提交任务准确率比Claude高一倍。该基准新题多、更复杂，能真实考验模型能力，当前模型解决商业问题能力有限。