「Token压缩」共找到 811 篇相关文章
微软的prompt压缩方案-LLMLingua,开源
使用大语言模型时，提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息，有完整开源。它历经多版本演进，还能用于安全防御，使用简单，值得开发者跟踪。
零Token部署GraphRAG，LinearRAG做到了~
现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。
不得了，这个新技术把视频压缩到了0.02%！
中国电信人工智能研究院的生成式视频压缩（GVC）技术，将视频数据压缩率干到0.02%，还能保持画面高清连贯和细节。它以‘用计算换宽带’为核心理念，在实测中表现优异，有诸多应用场景。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
tokens烧钱太快？试试这个四层模型组合
ClaudeCode等智能体兴起，开发者面临tokens不够用、主流模型降智问题。网络给出多模型策略缓解，网友将2026年主流模型分四档，还介绍了实际路由策略、部署建议，指出单模型依赖危险。
月吞100万亿Token！AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资，估值达13亿美元。它每周处理25万亿个tokens，全球用户超800万。其提供AI推理统一控制层，解决企业多模型管理难题，开源模型崛起使其价值凸显。
Tokenization谢幕？H-Net登场：Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术，实现动态分块机制，嵌入H - Net可替代传统流水线。在多方面实验中，H - Net性能优于基于BPE token的Transformer模型。
揭秘 | 桥梁缺陷检测新突破：模型压缩42%，精度几乎不掉
全国公路桥梁超百万座，传统人工巡检效率低且有安全风险，现有深度学习检测模型体积大、计算量高。研究团队提出LBSD - YOLO网络，通过创新实现轻量化，实验显示模型瘦身但性能不减，有重要应用价值。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
北大光华院长最新对谈：未来奖学金可以用 Token 发
5月12日晚，北大光华管理学院院长田轩与Kimi总裁张予彤就‘AI时代的边界探索与人才机遇’展开对谈，探讨了AI带来的新工作、学生培养、企业管理、人才招聘等问题，张予彤提出诸多独到见解。