「token使用量」共找到 2398 篇相关文章
逐个token太慢!大模型原生并行出token,CMU、英伟达新作Multiverse
卡耐基梅隆大学(CMU)和英伟达研究者提出Multiverse,这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题,通过多方面协同设计构建推理模型,还开源了生态系统。
使用 Claude Code 自动化 GitHub Actions
这篇技术博客介绍用Claude Code自动化GitHub Actions Runner镜像更新工作,包括用其处理补丁冲突、分析变更,以减少人工工作量,提升开发者生产力,还给出实现细节与代码。
零Token部署GraphRAG,LinearRAG做到了~
现有GraphRAG模型在实际应用中常不如朴素RAG,原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG,在多数据集上超越现有方法,代码和数据已开源。
大部分token根本不该重复计算,不止于KVCache
斯坦福研究显示,AI Agent每次调用62%内容重复,现有前缀缓存虽有优化但天花板低,阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立,解决性能问题,其CacheBlend技术复用缓存,适配多引擎和存储后端。
一文搞懂如何在Codex中使用goals
OpenAI文章介绍Codex中Goals的使用,包括定义、使用方法、与普通prompt区别、编写要点、激活后变化、内部设计等,还给出复现论文示例,指出适用与不适用场景,称其改变Codex运作模式。
tokens烧钱太快?试试这个四层模型组合
ClaudeCode等智能体兴起,开发者面临tokens不够用、主流模型降智问题。网络给出多模型策略缓解,网友将2026年主流模型分四档,还介绍了实际路由策略、部署建议,指出单模型依赖危险。
月吞100万亿Token!AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资,估值达13亿美元。它每周处理25万亿个tokens,全球用户超800万。其提供AI推理统一控制层,解决企业多模型管理难题,开源模型崛起使其价值凸显。
分享一些可以让AI使用更丝滑的小技巧
作者起初用AI不顺手,经研究摸索发现是指令有误。分享沟通技巧,如给身份、给参考风格、用“说人话”“举例子”,还可当头脑风暴搭子,强调清晰指令能助自我认知。
Tokenization谢幕?H-Net登场:Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术,实现动态分块机制,嵌入H - Net可替代传统流水线。在多方面实验中,H - Net性能优于基于BPE token的Transformer模型。
Skill制作和使用秘诀!Claude Code工程师的官方宝藏经验
Anthropic工程师发布《Claude Code的经验教训:我们如何使用Skill》教程,介绍Skill是智能体开放标准及在Claude Code的应用,分享制作技巧、类型,还提及分发、管理、组合和衡量方法。