「每Token成本」共找到 2042 篇相关文章
Claude Code 省 Token 指南：慎用 1M 上下文，不开新会话或者总是开新会话都不对
文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。
上交大和辉羲把LLM刻进ROM！推理性能冲2万token/s，GPU时代终结？
硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。
2.9K Star！这个工具让 Agent 查代码快了 200 倍！节省 98% Token 消耗！
当下，Agent 在代码工作流应用广泛，但在大型代码库搜索时存在精准性、Token 效率和速度问题。Semble 是 MinishLab 团队开发的面向 Agent 的代码搜索工具，能解决上述问题，还具备多方面亮点，安装和使用也简单。
华为云再掀算力风暴：CloudMatrix384超节点将升级，Tokens服务性能最大可超H20四倍
华为云在全联接大会2025发布新进展，如CloudMatrix超节点升级、首创EMS服务等。其以“算力黑土地”理念，用智算+通算策略满足产业需求，Tokens服务优势显著，还支撑多领域应用。
AI Infra进入自进化时代！清华团队用「AI优化AI」造就国产万亿Token工厂
AI自主优化RSI成新焦点，被视为通往AGI的关键路径。硅谷为此沸腾，中国也不落后。清昴智能由清华团队创立，率先打造自进化算力底座，还基于国产算力打造万亿Token工厂，目标是让优化成为持续运行的基础能力。
重磅！中国团队发布SRDA新计算架构，从根源解决AI算力成本问题，DeepSeek“神预言”成真？
国内玉盘AI团队发布《SRDA AI大模型专用计算架构》白皮书，提出全新SRDA计算架构，从硬件源头解决AI算力成本瓶颈。它以数据流为核心，在内存、网络等方面创新，为开发者带来高效、低成本等价值。
「上下文学习」之后，腾讯混元第二篇公开研究：精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc，可将全局梯度突刺定位到具体异常 token，降低 RLVR 训练观测与分析门槛，助力解决训练不稳定问题，让模型调优更科学。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
推荐大模型来了？OneRec论文解读：端到端训练如何同时吃掉效果与成本
随着AI发展，推荐系统面临诸多问题，快手技术团队提出OneRec，以端到端生成式架构重构推荐系统全链路，在效果与成本上实现突破，已在快手双端服务用户，也有需完善之处。
GPT-5.6 Sol首批内测结果来了！同任务成本只有Fable 5一半
GPT-5.6 Sol预览版发布半月，首批内测报告出炉。它代码简洁，适合长链路任务，视觉效果好。虽整体略逊Fable 5，但成本近乎减半，且安全限制小，即将全量上线。