「Token优化」共找到 1812 篇相关文章
AI Infra进入自进化时代!清华团队用「AI优化AI」造就国产万亿Token工厂
AI自主优化RSI成新焦点,被视为通往AGI的关键路径。硅谷为此沸腾,中国也不落后。清昴智能由清华团队创立,率先打造自进化算力底座,还基于国产算力打造万亿Token工厂,目标是让优化成为持续运行的基础能力。
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法,通过PD分离、多层MTP优化等全栈优化方法论,还介绍多机性能优化方案,后续预计性能突破20000 tokens/s。
Life of a Token:像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel,追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例,详细讲解其管线各阶段,如 Tokenization、Embedding 等,还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
SGLang 的 DeepSeek-V4.1 Flash Day 0 优化实录:4×B300 上 BS=1 达到 764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录,详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程,公开4×B300 GPU实测吞吐数据,附复现代码与步骤
ETT:打破原生多模态学习视觉瓶颈,重塑视觉tokenizer优化范式
本文由多机构联合完成,针对传统视觉 tokenization 方法优化与下游任务训练割裂问题,提出 ETT 调优方法。它实现联合优化,在多模态理解、生成、重构任务表现出色,虽有局限但带来新突破。
Meta“Token榜”逼疯打工人,一夜烧掉公司几万刀!AI时代Token焦虑越来越离谱
据报道,Meta 公司内网出现 AI token 消费排行榜,追踪超 8.5 万员工 token 使用情况,过去 30 天消耗超 60 万亿 token。这反映“Token 最大化”文化,引发 token 消耗是否等同于生产力的争议。当前 Agent 系统高 token 消耗是补偿机制,应提升使用效率。
Altman拿Token换股权只够烧45天,20亿Token捐母校只值100块:Token真成“钱”了,谁更赚?
本文围绕AI Token展开,讲述OpenAI用Token换创业公司股权,00后捐20亿Token给母校,还探讨了“tokenmaxxing”现象及问题,指出AI行业经济账未算清,企业客户成本高,AI成管理层压迫工具。
智能体请求暴增9.4倍,token账单却没涨:Uber 公开AI软件工厂省钱方法
Uber 在 2026 年 AI 工程师大会分享软件工厂愿景。其 AI 工具嵌入开发各阶段,2 至 8 月智能体请求增 9.4 倍,成本稳定。介绍智能体会话四层、成本公式及优化手段,如选优模型、优化 token 等。
发 token 当工资?工程师不只拿现金和期权,开始按 token 分身价了
硅谷正用 token 吸引人才,国内也有类似趋势。AI 使用成本渐成人力成本关键,token 对应算力争夺,其价格上涨,大厂还想将 token 变成新价值单位,引发质疑。
西游取经团再出征:小米 Token Plan 能把 Token 价格打下来吗?
4月3日小米发布首款“走字儿”Token Plan计费方案,以Credit换算Token,不同模型换算比例不同,取消使用时间限制。实测MiMo V2 Pro完成任务水平在线,成本约为Lite套餐60%,但Token消耗难预估,其价值取决于任务场景。