「Token效率」共找到 1752 篇相关文章
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
打破视觉Token的算力诅咒，RedundancyLens如何为多模态大模型推理减负
多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。
“你以为买的是 DeepSeek Flash，到手可能是 1.5 bit 缩水版”：Pi 核心贡献者谈 AI Token 黑箱
Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 播客对谈指出，当前 AI token 市场不透明，模型公司或失控。如买 token 像买成分不明商品，模型训练目标不明，且 Agent 行为边界在扩展，问责制缺失。
Claude上线Prompt缓存诊断功能，终于不用盲猜token成本暴涨的原因
Claude宣布Prompt缓存诊断功能登陆控制台，可解决缓存失效排查痛点。此前开发者排查效率低，新功能能显示变动位置与token损耗。目前处于beta阶段，介绍了使用方法、支持的失效原因及功能限制等。
Deepseek 正式发布 V3.1：混合推理，Agent能力大幅提高，token消耗减半
Deepseek正式发布Deepseek V3.1，采用混合推理，支持双模式切换，上下文扩展到128k，API支持Claude Code调用。工具与Agent能力提升，思考效率更高，token消耗减半，官方渠道全面升级，9月6号起调整价格。
AI Coding 生死局：Spec 正在蚕食人类编码，Agent 造轮子拖垮效率，Token成本失控后上下文工程成胜负手
本文为《2025 年度盘点与趋势洞察》系列之一，聚焦 AI Coding 在程序员群体的演进与落地。探讨了 Spec 驱动开发、Agent 崛起、Token 成本等问题，指出上下文工程是 AI Coding 成败关键。
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
2.9K Star！这个工具让 Agent 查代码快了 200 倍！节省 98% Token 消耗！
当下，Agent 在代码工作流应用广泛，但在大型代码库搜索时存在精准性、Token 效率和速度问题。Semble 是 MinishLab 团队开发的面向 Agent 的代码搜索工具，能解决上述问题，还具备多方面亮点，安装和使用也简单。
AI Infra进入自进化时代！清华团队用「AI优化AI」造就国产万亿Token工厂
AI自主优化RSI成新焦点，被视为通往AGI的关键路径。硅谷为此沸腾，中国也不落后。清昴智能由清华团队创立，率先打造自进化算力底座，还基于国产算力打造万亿Token工厂，目标是让优化成为持续运行的基础能力。