搜索：基准测试成本

「基准测试成本」共找到 3481 篇相关文章

「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软

MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。

在美国新基准测试FAI - C中，中国开源模型Qwen3夺冠，DeepSeek的R1跻身前六，力压美国明星实验室顶级模型。该测试由前英特尔CEO帕特·基辛格所在公司Gloo推出，旨在让AI直面深层问题。

xAI上周五发布旗舰模型轻量化版Grok 4 Fast，推理成本直降98%。它通过强化学习在基准测试表现佳，有原生工具调用能力，采用统一架构，性价比高，或改写大模型竞争规则。

传统模型路由用于写生产代码易掉链子，Cognition发布的Devin Fusion混合模型框架可解决该问题。官方测试显示，它能降35%编码智能成本且质量无明显下滑，从实际测试案例可看出其适用边界。

来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。

本文通过三项独立基准测试，证实相同AI模型下，不同AI编程智能体框架的Token消耗最高相差70倍，分析了成本差异的核心原因，为企业AI成本控制提供可落地的衡量标准。

北京时间7月10日，马斯克团队发布Grok 4，其基准测试成绩惊人，在‘人类最终测试’等表现出色。它成功源于多智能体协作、追求真相哲学和高算力投入，还在多领域展现应用潜力，同时公布定价并坦言短板。

谷歌更新旗舰 Gemini 模型，推出 Gemini 3.1 Pro Preview，以相同价格实现性能跃升。它在多项基准测试中领先，性价比超对手，虽部分测试落后竞品，但提升或源于模型质量改进，成本效益策略值得关注。

Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。

斯坦福联合中科大团队推出世界首个评估视觉语言模型物理推理能力的基准QuantiPhy，通过测试发现顶尖模型在数值计算上不如人类，还揭示模型推理靠记忆而非测量，为AI发展指明方向。