「百万 token」共找到 797 篇相关文章
AI编程Token消耗降低神器:RTK(Rust Token Killer)实战指南
文章介绍RTK(Rust Token Killer),它能在CLI命令输出到LLM上下文前智能过滤压缩,节省60 - 90%Token。文中说明了其原理、特性、压缩策略,还给出安装配置步骤、实测数据及使用建议。
Token洪流的转向:当AI Agent成为Token消耗的主宰,什么样的推理服务基础设施才是刚需
Token消耗量转移,AI Agent成Token消耗主宰,大模型推理服务底层逻辑重塑。文章介绍AI Agent时代范式转变、对推理基础设施的需求,还阐述了为其打造的AI Serving Stack架构及优势,它获2025年度相关卓越奖。
Token 压缩率飙升60%:大模型分词告别贪心合并
当前大模型效率优化多聚焦降低单位Token计算存储开销,本文解读arXiv新预印论文,针对传统BPE分词的固有局限,提出CNF-MCE分词框架,可大幅提升Token压缩率,开辟大模型效率优化新路径。
谷歌Gemini 3.1新模型深夜掀桌, 每秒狂飙363 token! 1/4价格暴击Claude
谷歌深夜推出Gemini 3.1 Flash-Lite,输出速度363 token/s,价格仅0.25美元/百万Token,跑分碾压GPT-5 mini和Claude 4.5 Haiku。开发者可通过Google AI Studio体验,企业用户可通过Vertex AI接入。
黄仁勋要发Token当工资!硅谷兴起刷量大赛,一人一周烧掉33个维基百科
硅谷兴起Tokenmaxxing(Token刷量大赛),AI公司追踪员工token消耗,招聘、考核都与token相关。风投者费用半年内从月付200美元涨至年烧10万。黄仁勋提议用token作薪酬,同时也有对刷量竞赛的质疑。
Token 降价的尽头,是一度电的账
AI进入算账阶段,Token成本成系统工程。优刻得董事长季昕华认为Token终局是电力,降本需选好数据中心、用国内模型等。企业要解决AI投入产出衡量问题,Token需求会持续增长,优刻得定位中立服务平台。
无Tokenizer时代真要来了?Mamba作者再发颠覆性论文,挑战Transformer
Mamba作者之一Albert Gu参与的论文提出分层网络H - Net,用动态分块取代tokenization。Tokenization虽能压缩序列但有缺点,H - Net在多方面表现出色,或预示无需Tokenizer训练时代到来。
刚刚,北京建了一座AI工厂:目标10万P算力,日产10万亿Token!
九章云极在2026全球智算科技峰会发布AI工厂战略,含训练和Token工厂,目标10万P算力、日产10万亿Token。用DCU度量投入,Token度量产出,重构智能生产与交付体系,适配不同企业需求。
为什么你的 AI Coding 账单越涨越快?十个节约 Token 的工程办法。
文章指出今年大模型Token账单涨得快,尤其AI编程重度用户。从工程角度总结降低Token消耗的方法,如上下文清场、代码导航等,还分析AI Coding的Token变贵原因及各方法适用边界。
Fable 5.1变身Token刺客,几分钟烧光额度!AI圈掀起「榨汁革命」
Anthropic发布的Fable 5.1虽性能强但极耗Token,引发开发者不满。当前AI产业面临算力饥渴与Token通胀问题,企业落地AI痛点多。迅策科技的TokenCloud平台能助力企业高效转化Token,还介绍了其配套产品TokenOS。