「Token压缩技术」共找到 3628 篇相关文章

产品应用8

从「对口型」到「会表演」,刚进化的可灵AI数字人,技术公开了

快手可灵团队让数字人从「对口型」进化到「会表演」,全新数字人功能在可灵平台公测。技术报告Kling - Avatar解析背后技术路径,设计多模态两阶段生成框架,实验显示其在多方面领先竞品。

机器之心
算法论文8

对抗KV Cache压缩的脆弱性:两行代码以最坏风险控制防御底层假设崩塌

中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷,主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略,仅两行代码修改,显著提升 KV Cache 压缩性能。

机器之心
新闻资讯8

AICon 深圳 2026 全日程揭晓|聚焦 Agent 工程化,构建可靠智能的技术路径

8月21 - 22日,AICon全球人工智能开发与应用大会将在深圳举办。大会全日程已发布,产业一线技术专家将围绕Agent工程化等前沿方向,分享技术探索与工程实践,探讨AI从能力突破走向系统构建的新路径。

InfoQ
算法论文8

谷歌新论文把内存股价干崩了!KV cache压缩6倍,“谷歌的DeepSeek时刻”

谷歌研究院推出TurboQuant压缩算法,可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失,还能8倍加速计算。虽引发存储芯片巨头股价下跌,但目前只是实验室成果,仅解决推理阶段内存问题。

量子位
推荐文章9

模型一模一样,Token 却相差 70 倍?三项实测揭开 AI 编程工具的成本黑洞

本文通过三项独立基准测试,证实相同AI模型下,不同AI编程智能体框架的Token消耗最高相差70倍,分析了成本差异的核心原因,为企业AI成本控制提供可落地的衡量标准。

AI前线
算法论文8

通用LLM压缩算法,居然藏视频编码里!2.5bit实现4bit性能,硬件无缝支持

LLM.265研究发现,视频编码器是高效的大模型张量编码器,现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量,还能利用GPU硬件加速。实验显示其压缩效果显著。

新智元
产品应用8

Qwen3.8-Max首发上线阿里千问AI平台,API服务与Token Plan同步开放

今日,阿里巴巴发布新一代基座大模型Qwen3.8,千问AI平台首发其Max版API服务与Token Plan。Qwen3.8参数量2.4万亿,性能居前列,推理快且能自主编程。API性价比高,平台还为Token Plan用户提供优惠。

阿里云开发者
算法论文8

1.5B刷新数学代码SOTA!快手&清华精细化Token管理,LLM推理能力飙升

快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理,对知识型和推理型Token差异化训练,让知识和推理同步更新且互不干扰,在数学和代码任务表现出色。

量子位
开源动态8

Kimi K2官方技术报告出炉:采用384个专家,训练不靠刷题靠“用自己的话再讲一遍”

Kimi K2官方技术报告公开称霸全球开源模型的秘籍,介绍其训练过程及“秘密配方”,包括MuonClip优化器、大规模Agentic Tool Use数据合成等技术亮点,还提及后阿里通义Qwen3更新击败Kimi K2。

量子位
开源动态8

通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%

文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。

GiantPandaLLM