「评测指标」共找到 875 篇相关文章
比 996 还狠！让面试者8小时复刻出自家Devin，创始人直言：受不了高强度就别来
Cognition 公司面试要求面试者 8 小时复刻自家 Devin，其 CEO Scott Wu 直言受不了高强度就别来。文章还介绍了他的成长经历、创业看法，以及 Devin 特点、业务指标、未来格局等，也提及收购 Windsurf 事宜。
告别“炼丹玄学”：上海AI实验室推出首个大模型数据竞技场OpenDataArena
上海人工智能实验室OpenDataLab团队推出开放数据竞技场OpenDataArena，致力于将数据质量评估从“玄学”变为“科学”。它有数据评测榜单和完整可复现的数据价值验证体系，为多类需求提供解决方案，还开源了核心工具。
让大模型“跑”在手机里：vivo蓝心端侧部署创新揭秘，性能功耗双优！
在AICon2025上海站，vivo AI研究院工程师章苏迟分享蓝心大模型端侧部署方案。介绍端侧大模型优势及应用场景，阐述内存、性能、功耗等指标优化方法，还提及多业务场景应对策略与安全合规措施。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
马斯克终于成『AI No.1』，6大案例看实力与水分
马斯克发布Grok 4，宣称其超越OpenAI等LLM。它屠了各种榜单，但Grok系列口碑欠佳。文中通过多案例测试，展现其在各方面的表现，如编码、数学、图像等，还提到了API速度和价格。
AI 时代最大的“幻觉”：我们有了最强工具，却正在失去定义真问题的能力
BAT增长顾问、前快手产品总监杨一溪在全球产品经理大会指出，AI时代人们易迷失在‘可能性’中，失去定义‘真问题’的耐心。他结合案例，从多方面分享增长方法论，强调用户需求洞察的重要性。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
智能体请求暴增 9.4 倍，token 账单却没涨：Uber 公开 AI 软件工厂省钱方法
AI 工具已嵌入 Uber 软件开发各阶段，智能体请求量增长 9.4 倍，但 AI 总支出自 4 月相对稳定。文章介绍其软件工厂思考，包括智能体会话层级、成本公式、指标测算及优化手段，还提及未来举措。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。