「省Token策略」共找到 1617 篇相关文章
卖Token也不是稳赚不赔！硅基流动招股书来了
硅基流动向港交所提交上市申请，剑指港股「AI Token工厂第一股」。它将异构算力等封装成Token供应服务，2025年营收增653.2%，但亏损也扩大，公有云业务成本压力明显，生意待市场检验。
ICML 2026 | 只用少量Thinking Tokens，大模型依然能深度思考
近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。
英伟达改卖Token？黄仁勋GTC后发声：token就是AI新通货，值钱的不是算力，是“每度电的智商”
英伟达黄仁勋在采访中强调其是加速计算公司，非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出，token 是新通货，还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。
上下文窗口限制被打破：Subquadratic推出了一个1200万Token的窗口
2026 年前沿模型宣传至少 100 万 Token 上下文窗口，但利用不佳。Subquadratic 推出能处理 1200 万 Token 窗口的模型，称可绕过问题，还将推 5000 万窗口模型，其 SSA 架构有优势，基准测试成绩佳。
重新思考 AI TCO：为何每 Token 成本才是唯一重要的指标
在生成式与代理式AI时代，传统数据中心转变为AI Token工厂，企业评估AI基础设施时不应只关注算力成本、每美元FLOPS，而应重视每Token成本，它决定AI规模化盈利，NVIDIA在该指标上表现出色。
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
从混沌到可控：企业应用中AI Agent不确定性控制的 10 种策略
大语言模型输出的不确定性限制了AI智能体在企业场景的应用，本文总结控制生成式AI Agent不确定性的常见策略，涉及技术、应用设计、管理与治理层面，还推荐了相关作品。
谷歌月Tokens消耗量领跑全球了：1300000000000000（别数了是千万亿）
谷歌月处理Tokens用量达1.3千万亿，较一年前的9.7万亿大幅增长。横向对比，谷歌在该指标上远超微软等大厂。Tokens消耗量可衡量模型多方面能力，谷歌为行业树立新标杆。
Token需求狂飙千倍，22亿热钱涌向这家AGI Infra头号玩家
在AI基础设施成风口的背景下，国内AGI Infra头部玩家无问芯穹获超7亿融资，其Token调用量爆发式增长。随着AI产业进入Agent阶段，传统架构难适配新需求，无问芯穹以中立定位成Token经济枢纽。
图解Vllm V1系列5：调度器策略（Scheduler）
本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。