「Tokens服务」共找到 1237 篇相关文章
逼AI当山顶洞人！Claude防话痨插件爆火，网友：受够了AI废话
一个叫「caveman」的Claude Code插件在Hacker News爆火，冲破2w星。它核心是条prompt，删掉冠词等废话，号称省75%输出token。但它不压缩模型后台推理token，真实成本节省存疑。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
被H-1B签证折磨10年，前微软科学家用AI「掀桌」
美国签证体系成本高、周期长、透明度低，前微软科学家Priyanka Kulkarni创办Casium，用AI改造签证服务，把材料准备时间大幅缩短，近期获500万美元种子轮融资。新规下，其服务更显重要。
专访酷哇杨学：世界模型的下半场，是把一次成功变成长期服务｜甲子光年
在2026世界人工智能大会上，具身智能行业关注点从机器人能动转向能否进入真实场景干活。酷哇科技宣布杨学出任首席科学家，共建通用具身智能联合实验室。杨学认为行业应从证明技术转向证明实用，解决机器人在真实场景的长期稳定运营问题。
一百万亿Token里的AI现状：OpenRouter和a16z重磅研究带你透视AI江湖
OpenRouter和a16z发布重磅研究，用100万亿Token绘制AI实景地图。2025年推理模型崛起，开源模型流量份额攀升，编程与角色扮演需求大，还揭示了用户留存的“灰姑娘效应”等，展现多元AI世界。
即将开源 | 阿里云Tair KVCache Manager：企业级全局 KVCache 管理服务的架构设计与实现
阿里云Tair KVCache团队联合多团队将开源Tair KVCache Manager，介绍其架构设计与实现。该服务应对Agentic AI下KVCache存储挑战，解决传统模式难题，具备企业级管理能力，后续还会完善多方面功能。
面向 AI Agent 的搜索服务，小宿科技有机会成为百亿美金的新巨头吗？
文章围绕AI搜索展开，分析微软Bing停用API原因，探讨小宿科技做Agent时代AI搜索服务的机会。从多方面剖析小宿优势，如全球通能力、贴合需求打法等，指出AI时代搜索是B端基建博弈。
AI 提效了，老板觉得自己又行了：可代码行数和 Token 排名，真该拿来裁人吗？
文章探讨AI提效下的行业现状。开发者节奏加快，企业收紧人力。不同行业提效有别，互联网显著，金融审慎。还谈及效率悖论、裁员依据、生产力衡量及成本管控，指出提效应用于承接项目而非裁员。
智能体请求暴增 9.4 倍，token 账单却没涨：Uber 公开 AI 软件工厂省钱方法
AI 工具已嵌入 Uber 软件开发各阶段，智能体请求量增长 9.4 倍，但 AI 总支出自 4 月相对稳定。文章介绍其软件工厂思考，包括智能体会话层级、成本公式、指标测算及优化手段，还提及未来举措。