搜索：基准测试成本

「基准测试成本」共找到 3371 篇相关文章

「一只手有几根手指」，你的GPT-5答对了吗？

CMU博士生Tairan He测试发现GPT - 5答错‘一只手有几根手指’问题，指出语言难满足视觉与机器人领域需求，需VLM和VLA模型。编辑部测试发现顶尖大模型面对常识问题也会‘翻车’，还探讨了应对方法。

Claude Opus 5刚发布，社区就玩疯了。Anthropic给它定位接近Fable 5，价格仅一半。网友让它与Fable 5、GPT 5.6等做物理场景测试，Opus 5表现不错，但也有不足。官方还给出了其Prompt指南。

TechCrunch调查发现，AI编程公司虽收入和估值高，但普遍亏损。其运作成本高，大语言模型调用费占大头，用户越多成本越高，且市场竞争激烈。公司尝试自研模型、被收购、降价、提价等方法扭亏。

作者与即梦Agent死磕48小时，分享AI公众号封面制作经验。介绍垫图法、两个提示词模板，测试提示词反推、语义理解等功能，指出不足，认为即梦像AI作图界拼多多，瑕不掩瑜。

端午节前，DeepSeek全量推送识图模式。测试发现，它能认出黄仁勋，但忽略‘豆汁’字样，识别人物和潦草汉字准确率低，不过识别文物能力不错。还比较了与其他模型在乐理推理测试中的表现，开发者有新疑问待解答。

大模型挑战IMO 2025成绩出炉，Gemini 2.5 Pro以超30%总成绩断崖式领先，超出第二名89%。测试由MathArena组织，采用统一环境和双人匿名评估。还介绍了测试模型、题目及模型表现，人类版结果预计本周六发布。

3月19日，Cursor发布新模型Composer 2，后被发现底层基于中国Kimi开源模型K2.5微调。此外，Cloudflare将K2.5上架到边缘计算平台，成本降77%；黄仁勋邀Kimi创始人演讲；马斯克两度点赞Kimi。

近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。

OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。

Epoch AI团队举办竞赛，约40位数学精英分成8组与o4 - mini - medium在FrontierMath基准上对决。o4 - mini击败6组团队，虽未完全超越人类，但Epoch AI预测到2025年底AI可能超30% - 50%人类基准。