「token 消耗」共找到 700 篇相关文章
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
谷歌月Tokens消耗量领跑全球了：1300000000000000（别数了是千万亿）
谷歌月处理Tokens用量达1.3千万亿，较一年前的9.7万亿大幅增长。横向对比，谷歌在该指标上远超微软等大厂。Tokens消耗量可衡量模型多方面能力，谷歌为行业树立新标杆。
Token需求狂飙千倍，22亿热钱涌向这家AGI Infra头号玩家
在AI基础设施成风口的背景下，国内AGI Infra头部玩家无问芯穹获超7亿融资，其Token调用量爆发式增长。随着AI产业进入Agent阶段，传统架构难适配新需求，无问芯穹以中立定位成Token经济枢纽。
这一年，DeepSeek消耗14万亿Token，编程仅占1/10，超一半用于角色扮演？
a16z和OpenRouter基于100万亿token研究揭示LLM使用情况：开源模型占三成市场，编程任务成刚需，角色扮演是金矿。还提到‘玻璃鞋效应’影响用户留存，市场分层为‘高端闭源+性价比开源’双轨制。
深刻理解Token：大语言模型（LLM）是如何看待这世界？
文章指出在大语言模型（LLM）中，Token是处理文本的基本单位。介绍了Token的概念、分词方法、向量化过程，还阐述了分词对模型性能的影响，如导致模型在数学、多语言处理上表现不佳等。
AI开始替人类调用AI！token用量已是人类5.2倍
据OpenRouter统计，截至8月10日，Agent类token用量半年涨14倍，人类仅2.8倍。差距源于用法差异，虽智能体部分token计价低，但用量大仍烧钱。省钱关键在配套，且智能体任务验收缺人手。
国内首次！8.9毫秒推理速度破纪录，1元打穿百万token
在2025人工智能计算大会上，浪潮信息发布元脑SD200和元脑HC1000两款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒，后者将推理成本降至1元/百万Token，解决了AI智能体速度与成本难题。
告别JSON冗余：TOON让Token成本降低30-60%
LLM交互用JSON有冗余，成本高、速度慢。TOON格式专为LLM优化，结合YAML和CSV特点，比JSON减少30 - 60%的token消耗，还介绍了特性、上手方法、集成实践和适用场景。
精打细算虾养成指南： 省 Token 和把 AI 用好，从来就是一件事
文章指出用AI时Token成本高、模型变笨，原因是上下文管理不善。介绍了省Token和用好AI的方法，如按需取上下文、明确约束、多智能体协作、按阶段切换模型等，核心是在合适时间将合适上下文装入合适模型。
紫东太初推出GMC核心集剪枝方法，少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈，传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法，具双阶段架构，优势多，实验显示其能在减少Token同时保持性能。