「Token压缩技术」共找到 3628 篇相关文章
快手解密「AI印钞机」,首提生成式强化学习出价技术,为平台实现超过3%的广告收入提升
文章介绍快手首提生成式强化学习出价技术,为平台提升超3%广告收入。还阐述广告自动出价挑战及业界方案,介绍快手GAVE和CBD算法破解难题,其团队成果丰硕,未来技术有两大演进方向。
“你以为买的是 DeepSeek Flash,到手可能是 1.5 bit 缩水版”:Pi 核心贡献者谈 AI Token 黑箱
Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 播客对谈指出,当前 AI token 市场不透明,模型公司或失控。如买 token 像买成分不明商品,模型训练目标不明,且 Agent 行为边界在扩展,问责制缺失。
大神周末开源省token野路子,claude fable5账单砍掉6成
外网大神周末开源插件,将模型上下文等渲染成图片,可让账单降低59% - 70%。原理是图片token只与像素尺寸有关。此前因模型识图能力差难落地,fable5证明其极限省钱且效果保留。
你奶奶也能看懂:DeepSeek-OCR的秘密。
本文介绍DeepSeek-OCR,它并非普通OCR工具,而是用“上下文光学压缩”将大量文本信息转为少量视觉Token。其架构含编码器和解码器,压缩效果惊人,重新定义AI“记忆”,或改变AI认知方式。
1M 上下文时代太费 Token,告诉你我的 Coding Agent 省钱方法
当下GPT-5.5等模型原生支持1M上下文,虽能支撑长任务,但易被噪音干扰且费Token。作者以Claude Code为例,介绍做好会话管理的多种省钱方法,如根据任务选择会话策略、利用rewind功能等。
千万养虾人的终极梦想!全球首个「养虾本」带你懒人养虾开箱即食
荣耀发布自研 YOYOClaw 龙虾技术,首发于 MagicBook 系列,开创「养虾本」品类。该技术预置龙虾能力,具备自主学习,节省 50% Token,有设备级防护,实现多端共享,推动 AI 产业范式转变。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。
12秒生成1万token!谷歌推出文本「扩散模型」Gemini Diffusion,研究员:演示都得降速看
谷歌将图像生成常用的“扩散技术”引入语言模型,推出Gemini Diffusion,12秒能生成1万tokens,速度比Gemini 2.0 Flash - Lite更快。它通过逐步优化噪声学习生成输出,目前是实验性演示,可申请体验。
逼AI当山顶洞人!Claude防话痨插件爆火,网友:受够了AI废话
一个叫「caveman」的Claude Code插件在Hacker News爆火,冲破2w星。它核心是条prompt,删掉冠词等废话,号称省75%输出token。但它不压缩模型后台推理token,真实成本节省存疑。
字节Seed实习生曝DeepSeek-V4技术缺陷:长文本检索陷入“周期性盲区”
字节Seed团队联合多校研究,发现DeepSeek-V4的分块KV缓存压缩架构存在长文本检索周期性盲区,不同Token位置检索准确率落差最高超40个百分点,揭露了传统长文本评测的盲区,DeepSeek已在V4.1改善但未完全消除缺陷。