「低token高压缩」共找到 1790 篇相关文章
美团开源Agentic新王，速度拉满，工具调用打爆Kimi？
周末美团开源LongCat - Flash大模型，参数量560B，推理速度达100 token/s，成本低，在Agent工具调用表现超Kimi - K2。它有Zero - Computation Experts和ScMoE创新，不过市场表现未获太多认可。
堆了一仓库GPU，却生产不出专业智能？九章云极用AI工厂给出解答
企业接入通用大模型到业务系统，却发现它难以执行任务。九章云极在发布会上推出‘AI工厂’战略，通过训练工厂和Token工厂填平执行鸿沟，前者用强化学习造专业模型，后者让专业智能规模化流通。
节前重磅：开源旗舰模型新SOTA，智谱GLM-4.6问世
国庆前智谱AI发布新一代旗舰模型GLM-4.6并将开源，它在多方面提升，如编码、上下文长度等，评测性能佳，token消耗降低。经实测，其代码、研究、开发等能力强，成全球开源AI领域重要力量。
百度想明白了：旧供给到达极限了
当下企业应用AI时，Token成本高、推理效率低问题凸显。百度Create大会释放旧供给达极限信号，推出新全栈AI云，含Agent Infra和AI Infra两层架构，多个场景应用初显成效。
近期，不错的LLM Agent统一记忆框架综述~
随着GPT、Qwen、Claude等大模型能力提升，LLM-based Agent走向长期任务。论文提出统一框架拆解Agent Memory为四组件，围绕两个数据集复现比较10个方法，还设计出新的低token开销框架。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
GAG：超越RAG，无需检索的私有知识注入新范式
在高价值私有场景，主流大模型注入知识的路线各有硬伤。中科院和360AI联合团队提出GAG方案，无需检索、固定底座、单Token、即插即用，实验显示效果佳，也指出跨域组合等局限。
DDR4持续涨价，DDR5成为新的性比价之王？
近期DDR4价格持续上涨，其告别性价比，原因是存储巨头战略转移。而DDR5性能强、功耗低，实测表现优，价格也有优势，已成为新的“性价比之王”，替代DDR4是大势所趋。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。