「低token高压缩」共找到 1790 篇相关文章
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
经济学人：为什么 AI 还没抢走你的饭碗？
尽管先进AI模型能力强，引发人们对失业的担忧，但实际情况是，口译翻译等领域就业人数增长，年轻毕业生失业率低，白领岗位未受负面影响，全球就业仍强劲，或因AI使用率低及公司不轻易裁员。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
如何选择最佳多模态大模型压缩方案？哈工大、度小满开源EFFIVLM-BENCH基准测试框架
金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。
一百万亿Token里的AI现状：OpenRouter和a16z重磅研究带你透视AI江湖
OpenRouter和a16z发布重磅研究，用100万亿Token绘制AI实景地图。2025年推理模型崛起，开源模型流量份额攀升，编程与角色扮演需求大，还揭示了用户留存的“灰姑娘效应”等，展现多元AI世界。
「看」能否取代「读」，为何DeepSeek-OCR 爆火的重点不在性能？
DeepSeek近期开源的DeepSeek - OCR在AI社区引发热议。它提出‘上下文光学压缩’理念，以视觉方式压缩文本。社区关注重点在其研究思路对NTP范式的影响，有望解决长上下文经济性难题等。
AAAI 2026 Oral：明略科技开创稀疏数据「信息瓶颈动态压缩」，精度+速度双SOTA
在机器人和具身智能领域，transformer模型又大又‘重’，边缘设备难以承受。东南大学、中南大学、明略科技联合提出的CompTrack论文，创新性解决AI模型处理稀疏数据的‘双重冗余’，在3D点云跟踪任务上实现精度和速度双优。
谷歌公开全新极限压缩算法：LLM提速8倍、内存占用狂降6倍，精度零损失
谷歌推出全新量化算法 TurboQuant，瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点，能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步，实验数据表现优异，将改变搜索格局。
1个Token测出模型降级调包！成本砍到千分之一，API供应商的小伎俩全曝光了
法国研究人员开发新检测技术，能识别云端模型隐秘变动。对数概率追踪用于灰盒环境，成本仅传统千分之一；黑盒边界输入追踪用于黑盒环境，成本为先进方案1/30。这些工具让API供应商“调包”行为现形。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。