「低token高压缩」共找到 1790 篇相关文章

推荐文章8

对话27岁博导张林峰:模型压缩获CVPR满分有点意外,上海交大像我这样年轻老师很多

上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分,还在多方面探索模型加速,成果已开源。张林峰认为数据蒸馏会成模型压缩趋势,也分享了知识蒸馏阶段看法。

量子位
算法论文7

「Next-Token」范式改变!刚刚,强化学习预训练来了

微软新研究提出「强化预训练(RPT)」新范式,将下一个 token 预测任务重新定义为推理任务,可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点,实验显示其提升了语言建模能力。

机器之心
新闻资讯8

xAI 新模型 Grok 4 Fast 卷疯了!少用 40% token 还能追平 Grok 4,限定范围可直接免费用

近日,马斯克旗下 xAI 推出新 AI 模型 Grok 4 Fast,将非推理与推理能力整合,少用 40% token 追平 Grok 4,运行成本降 98%。它有 200 万 token 窗口,多平台可用,部分范围免费。

InfoQ
开源动态9

输出token永久免费!Jev爆火后,开源版也跟着火了

本文报道OpenAI前研究员Diogo Almeida推出新型决策模型Jev,砍掉传统LLM文本生成功能仅专注判断,速度提升数十到上百倍,输出token永久免费,爆火后同思路开源模型Nimble随即上线。

量子位
开源动态8

别再给AI送钱:10款开源工具省80%Claude Code Token,大项目直接砍49倍

使用Claude Code等AI编码工具常遇额度用完、账单超预期问题,80%钱浪费在冗余输出等。社区博主整理10款开源工具,适配主流AI编码工具,最高能将大项目Token消耗砍到1/49,还介绍省Token习惯及互助项目。

AI工程化
算法论文7

宇宙尺度压缩:Scaling Law的边界,柏拉图表征收敛于物质和信息交汇,解决P与NP问题,Simulation假说……

超对称公司在BigBang - Proton实现跨尺度跨结构科学多任务学习,提出宇宙尺度压缩构想。文章论证其科学基础、工程可行性与意义,探讨Scaling Law边界,还给出宇宙尺度压缩计划和相关假设。

AI科技大本营
算法论文8

打破视觉Token的算力诅咒,RedundancyLens如何为多模态大模型推理减负

多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法,在不影响性能前提下降低推理成本,适用于多场景。

PaperAgent
新闻资讯7

谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌

谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。

AI前线
新闻资讯7

“你以为买的是 DeepSeek Flash,到手可能是 1.5 bit 缩水版”:Pi 核心贡献者谈 AI Token 黑箱

Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 播客对谈指出,当前 AI token 市场不透明,模型公司或失控。如买 token 像买成分不明商品,模型训练目标不明,且 Agent 行为边界在扩展,问责制缺失。

InfoQ
开源动态7

大神周末开源省token野路子,claude fable5账单砍掉6成

外网大神周末开源插件,将模型上下文等渲染成图片,可让账单降低59% - 70%。原理是图片token只与像素尺寸有关。此前因模型识图能力差难落地,fable5证明其极限省钱且效果保留。

探索AGI