Token压缩」共找到 806 篇相关文章

算法论文8

EMNLP2025 | 揭开LLM训练数据中的中文污染真相,有比“您好”高2.6倍的token

近年来,大型语言模型虽成功,但训练数据易混入不良内容。论文《Speculating LLMs' Chinese Training Data Pollution from Their Tokens》探索此问题,定义PoC Token,开发PoCDetect和PoCTrace工具,揭示LLMs训练数据污染情况。

深度学习自然语言处理
新闻资讯7

DeepSeek-V3.2被找出bug了:疯狂消耗token,答案还可能出错,研究人员:GRPO老问题没解决

DeepSeek-V3.2虽强且火爆,但被发现存在bug,即浪费token问题。研究者指出这源于GRPO算法的‘隐藏偏见’,虽修正了‘难度偏见’,但‘长度偏见’仍在,官方也承认token效率是挑战。

量子位
算法论文7

EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法:LightThinker

随着AI发展,大语言模型处理复杂推理任务能力提升,但推理时产生大量中间步骤和文本,拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker,可动态压缩推理步骤,降低内存占用和计算成本。

AINLPer
推荐文章8

对话27岁博导张林峰:模型压缩获CVPR满分有点意外,上海交大像我这样年轻老师很多

上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分,还在多方面探索模型加速,成果已开源。张林峰认为数据蒸馏会成模型压缩趋势,也分享了知识蒸馏阶段看法。

量子位
新闻资讯8

xAI 新模型 Grok 4 Fast 卷疯了!少用 40% token 还能追平 Grok 4,限定范围可直接免费用

近日,马斯克旗下 xAI 推出新 AI 模型 Grok 4 Fast,将非推理与推理能力整合,少用 40% token 追平 Grok 4,运行成本降 98%。它有 200 万 token 窗口,多平台可用,部分范围免费。

InfoQ
开源动态8

别再给AI送钱:10款开源工具省80%Claude Code Token,大项目直接砍49倍

使用Claude Code等AI编码工具常遇额度用完、账单超预期问题,80%钱浪费在冗余输出等。社区博主整理10款开源工具,适配主流AI编码工具,最高能将大项目Token消耗砍到1/49,还介绍省Token习惯及互助项目。

AI工程化
算法论文7

宇宙尺度压缩:Scaling Law的边界,柏拉图表征收敛于物质和信息交汇,解决P与NP问题,Simulation假说……

超对称公司在BigBang - Proton实现跨尺度跨结构科学多任务学习,提出宇宙尺度压缩构想。文章论证其科学基础、工程可行性与意义,探讨Scaling Law边界,还给出宇宙尺度压缩计划和相关假设。

AI科技大本营
新闻资讯7

谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌

谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。

AI前线
新闻资讯7

“你以为买的是 DeepSeek Flash,到手可能是 1.5 bit 缩水版”:Pi 核心贡献者谈 AI Token 黑箱

Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 播客对谈指出,当前 AI token 市场不透明,模型公司或失控。如买 token 像买成分不明商品,模型训练目标不明,且 Agent 行为边界在扩展,问责制缺失。

InfoQ
开源动态7

大神周末开源省token野路子,claude fable5账单砍掉6成

外网大神周末开源插件,将模型上下文等渲染成图片,可让账单降低59% - 70%。原理是图片token只与像素尺寸有关。此前因模型识图能力差难落地,fable5证明其极限省钱且效果保留。

探索AGI