「Token压缩技术」共找到 3501 篇相关文章
Token是这个时代最伟大的发明
博主黄益贺认为AI称得上科技革命，因其带来信息形态与交互方式的根本性变革，而这都归功于Token。Token实现信息形态大统一，带来信息交互方式变革，让信息可被自由召唤、定制化显现。
最新12种GraphRAG技术全面评测
6月两篇论文对12种GraphRAG技术评测。GraphRAG通过构建图结构组织知识，在复杂推理等任务中优于传统RAG。不同GraphRAG技术在图构建、知识检索上表现各异，如RAPTOR图构建慢但令牌消耗少。
Google 发布 Gemini 3.1 Flash-Lite：每秒 363 tokens，百万 token 只要 $0.25
Google发布Gemini 3.1 Flash-Lite，输出速度达363 tokens/秒，比上一代快45%，首个token响应快2.5倍。价格降低，输入$0.25/百万tokens，输出$1.50/百万tokens。跑分不错，还有动态思考功能，支持多模态输入。
晶圆级芯片主流技术路径对比
人工智能时代算力需求爆炸式增长，与半导体工艺进步放缓矛盾凸显。晶圆级计算为算力发展开辟新路径，有Cerebras和特斯拉两种技术路线，邬江兴院士团队提出软件定义晶上系统技术，但我国该技术发展面临多重挑战。
史上最全的AI rag技术来了！
本仓库用常见Python库讲解检索增强生成(RAG)技术，将其分解为易懂实现。包含一系列Jupyter Notebook，涉及20多种RAG技术，还介绍了核心概念、快速开始步骤等。
Agent 的 Token 账单怎么省？
AI 行业从生成式能力向 Agent 行动力跃迁，核心矛盾转向推理成本可控性。随着企业将 Agent 编入自动化流水线，Token 消耗受关注，业界开始聚焦以「降本」为核心的技术路线。
一图胜千言被实现了！DeepSeek-OCR用图片压缩文本，10倍压缩率
DeepSeek开源DeepSeek - OCR，用图片压缩文本达10倍压缩率且几乎不丢信息。它解决了以往视觉编码器的问题，架构清晰，数据丰富，性能测试亮眼，为解决大模型‘记性差’问题提供新思路。
万字长文 | 异构算力技术架构与核心组件解析
文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。
当 Token 成为商品，AI 基础设施会怎么变化？
在大模型时代，智能生产和交付未实现工业化，存在性能鸿沟。九章云极提出AI工厂战略，发布Alaya NeW Cloud 3.0，将从资源计量转向智能计量，打造训练和Token工厂，提升算力到有效Token的转化效率。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。