推荐文章7

揭秘大模型Token的奥秘

机器学习AI算法工程2025-06-05

AI 摘要

作者：大模型收到文字后，分词器会将其切成Token。不同分词器切分方法和结果不同，合理切分可提高大模型效率。大模型按Token数量计费，因其对应计算成本。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

OpenAI高管：token比价不靠谱

OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。

IPO前夕，Anthropic最新年化营收达650亿美元，8个月翻超7倍，反超OpenAI。双方在资本市场竞争激烈，A社在起跑时间、财务、商业模式上占优，但OpenAI用户规模和产品生态占优，目前A社牌面更好。

OpenAI发布内部版模型Astra的十项成果，引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果，指出AI优势在‘输得起’，还探讨找例方法、模型短板，给出训练建议与衡量跨越门槛的标准。

据Bloomberg爆料，16日Stripe敲定收购OpenRouter，超70亿美元。其创始人有成功经验，平台凭借统一API聚合AI模型受开发者青睐，业务增长快，已成AI行业“温度计”，Stripe借此掌控AI调用收支口。