「Token危机」共找到 759 篇相关文章
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
tokens烧钱太快？试试这个四层模型组合
ClaudeCode等智能体兴起，开发者面临tokens不够用、主流模型降智问题。网络给出多模型策略缓解，网友将2026年主流模型分四档，还介绍了实际路由策略、部署建议，指出单模型依赖危险。
月吞100万亿Token！AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资，估值达13亿美元。它每周处理25万亿个tokens，全球用户超800万。其提供AI推理统一控制层，解决企业多模型管理难题，开源模型崛起使其价值凸显。
功耗激增下的芯片危机，半导体行业如何破局？
人工智能发展带来巨量能耗，芯片功耗激增引发危机。英诺达创始人王琦指出当前问题，英诺达推出功耗解决方案。他还探讨AI在EDA应用，提出国产EDA发展策略，强调坚持等待质变。
Tokenization谢幕？H-Net登场：Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术，实现动态分块机制，嵌入H - Net可替代传统流水线。在多方面实验中，H - Net性能优于基于BPE token的Transformer模型。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
北大光华院长最新对谈：未来奖学金可以用 Token 发
5月12日晚，北大光华管理学院院长田轩与Kimi总裁张予彤就‘AI时代的边界探索与人才机遇’展开对谈，探讨了AI带来的新工作、学生培养、企业管理、人才招聘等问题，张予彤提出诸多独到见解。
OpenAI 董事会主席：「按 token 计费」大错特错！市场终将选择「按成果付费」
OpenAI 董事会主席 Bret Taylor 参与访谈，探讨创业者在 AI 浪潮中的机会。他将 AI 市场分为三条赛道，认为基础模型创业难，应用 AI 是生路，长尾 Agent 公司或取代 SaaS，商业模式应转向按成果付费。
GPT-5系统提示词突遭泄露，17803 token曝光OpenAI小心思！
一份全新GPT - 5系统提示词在GitHub泄露，有17803 token。此提示词设计精细，覆盖用户对齐、拟人风格、输出质量等。还展示了通用关键要求、安全对齐等方面内容。
失去三个联创后，Mira公司危机持续：又有两人要出走
前OpenAI CTO Mira Murati创办的Thinking Machines Lab危机不断，此前三位联创离开，如今又有两位技术骨干将出走，多家媒体称是OpenAI人才突袭，公司内部产品、发展等分歧或是主因。