「评测系统」共找到 2235 篇相关文章
你的 Harness 工作流真的在进步吗？我们用一场考试撕掉了遮羞布
文章指出Harness工作流常靠‘主观vibes’驱动，缺乏有效评价体系。为此推出Harness Eval评测系统，包含出题、答题、改卷等环节，形成闭环，帮助工作流持续改进，还能提升整体通过率。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
ACL 2026 | OPeRA Dataset: LLM真的能模仿人类行为了吗？首次系统评估LLM的人类行为模拟能力
美国东北大学等机构研究者提出OPeRA数据集，采集真实用户在线购物行为，支持系统评测LLM个体化行为预测能力。实验显示当前主流LLM在模拟人类行为上表现有限，揭示其能力边界。
基于大模型（LLM）的自选股智能分析系统，让AI帮你盯盘，每天自动推送分析报告
daily_stock_analysis是基于LLM的自选股智能分析系统，免费零成本运行，获6.3万Star。它多市场覆盖、聚合多源数据，自动生成决策报告并推送。有零成本运行等五大亮点，还给出上手步骤、适合人群。
他们从四家顶尖AI实验室辞职，打造能自己跑实验的AI系统，目标是让科学家实现Vibe Research
2026年初，Harsh Mehta和Behnam Neyshabur离开Anthropic，在旧金山注册Mirendil，6月25日公司亮相并完成2亿美元种子轮融资。团队来自四家顶尖机构，目标是构建自主处理AI研发问题的系统，降低AI研发门槛。
当前的上下文方案，本质是暴力破解！DeepMind 创始人：忽强忽弱的 AI，才是真正的灾难，突破在记忆系统
在播客《20VC》中，谷歌 DeepMind 创始人德米斯·哈萨比斯与主持人探讨 AI 未来。他认为 AGI 五年内大概率实现，规模和速度超工业革命；算力是瓶颈，软件记忆系统等突破也重要；还谈及开源、监管、能源等问题。
SOTA大模型遇上加密数据评测：Qwen3未破10%，o1也栽了丨上海AI Lab等联合研究
当前推理模型在基准测试中性能卓越，但在密码学领域推理能力待探索。上海AI Lab等推出CipherBank评测，用海量真实隐私场景数据和多类型密码算法挑战SOTA大模型，结果显示模型表现不佳，还分析了模型“犯难”原因。
人形机器人不再「走走停停」：Current Robotics发布全身灵巧操作模型Curr-0
具身智能领域中，让机器人移动中精细操作一直未被很好解决。Current Robotics发布全身灵巧操作模型Curr - 0，用Single Policy统一策略，数据源于自研外骨骼系统，还构建世界模型解决评测部署难题。
GPT-5来了，全面第一，但不是AGI
2025年8月7日OpenAI推出GPT-5。它是统一系统，在多评测中领先，性能远超前代和竞品，价格便宜。但也有图示bug，马斯克称Grok 4在ARC - AGI上击败它，部分网友失望催GPT - 6。
AI修Bug新SOTA：SWE-Bench Lite60.33%修复率，像人一样能积累经验，中科院软件所出品
ExpeRepair是中科院软件所团队推出的仓库级缺陷修复系统，模拟人类认知的情景和语义两种记忆模式，能积累经验。在SWE - Bench Lite评测中，其Claude - 4+o4 - mini组合修复率达60.3%居首。