token压缩」共找到 808 篇相关文章

产品应用8

你奶奶也能看懂:DeepSeek-OCR的秘密。

本文介绍DeepSeek-OCR,它并非普通OCR工具,而是用“上下文光学压缩”将大量文本信息转为少量视觉Token。其架构含编码器和解码器,压缩效果惊人,重新定义AI“记忆”,或改变AI认知方式。

AI大模型应用实践
推荐文章7

1M 上下文时代太费 Token,告诉你我的 Coding Agent 省钱方法

当下GPT-5.5等模型原生支持1M上下文,虽能支撑长任务,但易被噪音干扰且费Token。作者以Claude Code为例,介绍做好会话管理的多种省钱方法,如根据任务选择会话策略、利用rewind功能等。

MacTalk
7

逼AI当山顶洞人!Claude防话痨插件爆火,网友:受够了AI废话

一个叫「caveman」的Claude Code插件在Hacker News爆火,冲破2w星。它核心是条prompt,删掉冠词等废话,号称省75%输出token。但它不压缩模型后台推理token,真实成本节省存疑。

新智元
开源动态7

4.5k星星爆火!用图片压缩Fable 5上下文,成本大幅降低,终于用得起这个模型了

Fable 5在AI圈爆火,但使用成本比其他型号贵至少5倍。pxpipe项目把适合压缩的大段文本渲染成PNG图片,交给多模态模型读取,能大幅降低成本,还能增加上下文长度。

开源AI项目落地
开源动态8

1.8亿token,Clawdbot是这么吞掉的~

截止发文,开源AI Agent项目Clawdbot(已更名OpenClaw)超134k Star,其吞噬token特性引关注。文章从Code层面拆解高Token消耗根因,分析难以避免的问题,还给出控制Token账单的方法。

PaperAgent
新闻资讯8

Google 发了个压缩算法,内存砍 6 倍,速度快 8 倍,精度零损失

Google Research发布TurboQuant压缩算法,将在下月ICLR 2026正式发表。该算法把大模型的KV Cache压缩到3 bit,内存降6倍、速度快8倍且精度零损失,解决了传统算法的压缩开销问题。

AGI Hunt
算法论文8

Meta&CMU:Token级LLM协同路由新范式

Meta AI、CMU等联合推出FusionRoute,是让多个大模型在token级协作的新范式。它能在每个token位置精准选专家,自带“急救包”。经实验验证其高效,也指出了待研究的方向。

PaperAgent
新闻资讯8

阿里成立Token Hub事业群,打碎钉钉,做成龙虾!

阿里巴巴成立Alibaba Token Hub事业群,首席执行官吴泳铭挂帅。旗下设5大事业部,目标是创造、输送和应用Token。还发布企业级旗舰应用悟空,重写底层架构,打造专属文件系统与Skill生态,展示多款智能硬件。

AIGC开放社区
推荐文章7

Tokens是胡扯」,Mamba作者抛出颠覆性观点,揭露Transformer深层缺陷

Mamba作者Albert Gu在博客中探讨状态空间模型(SSM)和Transformer权衡,抛出‘Tokens是胡扯’观点,揭露Transformer深层缺陷,如分词问题、处理噪声能力弱等,还分析两类模型特点及结合优势。

机器之心
算法论文8

吴恩达新作:87%推理token用不着,丢掉反而快3倍

吴恩达新作Prefix Sliding指出,模型推理时丢弃中间已贬值token,只保留前缀+滑动窗口,无需训练可提速3倍,配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。

PaperAgent