「Token压缩技术」共找到 3628 篇相关文章

新闻资讯8

快手解密「AI印钞机」,首提生成式强化学习出价技术,为平台实现超过3%的广告收入提升

文章介绍快手首提生成式强化学习出价技术,为平台提升超3%广告收入。还阐述广告自动出价挑战及业界方案,介绍快手GAVE和CBD算法破解难题,其团队成果丰硕,未来技术有两大演进方向。

机器之心
新闻资讯7

“你以为买的是 DeepSeek Flash,到手可能是 1.5 bit 缩水版”:Pi 核心贡献者谈 AI Token 黑箱

Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 播客对谈指出,当前 AI token 市场不透明,模型公司或失控。如买 token 像买成分不明商品,模型训练目标不明,且 Agent 行为边界在扩展,问责制缺失。

InfoQ
开源动态7

大神周末开源省token野路子,claude fable5账单砍掉6成

外网大神周末开源插件,将模型上下文等渲染成图片,可让账单降低59% - 70%。原理是图片token只与像素尺寸有关。此前因模型识图能力差难落地,fable5证明其极限省钱且效果保留。

探索AGI
产品应用8

你奶奶也能看懂:DeepSeek-OCR的秘密。

本文介绍DeepSeek-OCR,它并非普通OCR工具,而是用“上下文光学压缩”将大量文本信息转为少量视觉Token。其架构含编码器和解码器,压缩效果惊人,重新定义AI“记忆”,或改变AI认知方式。

AI大模型应用实践
推荐文章7

1M 上下文时代太费 Token,告诉你我的 Coding Agent 省钱方法

当下GPT-5.5等模型原生支持1M上下文,虽能支撑长任务,但易被噪音干扰且费Token。作者以Claude Code为例,介绍做好会话管理的多种省钱方法,如根据任务选择会话策略、利用rewind功能等。

MacTalk
产品应用7

千万养虾人的终极梦想!全球首个「养虾本」带你懒人养虾开箱即食

荣耀发布自研 YOYOClaw 龙虾技术,首发于 MagicBook 系列,开创「养虾本」品类。该技术预置龙虾能力,具备自主学习,节省 50% Token,有设备级防护,实现多端共享,推动 AI 产业范式转变。

机器之心
推荐文章8

vLLM PIECEWISE CUDA Graph 技术学习笔记

文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。

GiantPandaLLM
新闻资讯8

12秒生成1万token!谷歌推出文本「扩散模型」Gemini Diffusion,研究员:演示都得降速看

谷歌将图像生成常用的“扩散技术”引入语言模型,推出Gemini Diffusion,12秒能生成1万tokens,速度比Gemini 2.0 Flash - Lite更快。它通过逐步优化噪声学习生成输出,目前是实验性演示,可申请体验。

量子位
7

逼AI当山顶洞人!Claude防话痨插件爆火,网友:受够了AI废话

一个叫「caveman」的Claude Code插件在Hacker News爆火,冲破2w星。它核心是条prompt,删掉冠词等废话,号称省75%输出token。但它不压缩模型后台推理token,真实成本节省存疑。

新智元
新闻资讯9

字节Seed实习生曝DeepSeek-V4技术缺陷:长文本检索陷入“周期性盲区”

字节Seed团队联合多校研究,发现DeepSeek-V4的分块KV缓存压缩架构存在长文本检索周期性盲区,不同Token位置检索准确率落差最高超40个百分点,揭露了传统长文本评测的盲区,DeepSeek已在V4.1改善但未完全消除缺陷。

AI前线