「上下文token」共找到 1265 篇相关文章
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。
零Token部署GraphRAG，LinearRAG做到了~
现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。
Claude Code 开发者分享：如何管理百万上下文
Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制，提出完成操作后的五条岔路，还给出不同场景的决策建议，强调会话管理要平衡信息量和注意力。
GPT-6 Astra 省 Token & 使用技巧大全
本文原创分享GPT-6 Astra的Token节省与实战使用技巧，通过实测对比不同模型搭配的配额消耗效果，给出排雷指南，还介绍了一款开源工具可将普通ChatGPT网页版爆改成全功能Codex，干货充足实用性强。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
tokens烧钱太快？试试这个四层模型组合
ClaudeCode等智能体兴起，开发者面临tokens不够用、主流模型降智问题。网络给出多模型策略缓解，网友将2026年主流模型分四档，还介绍了实际路由策略、部署建议，指出单模型依赖危险。
月吞100万亿Token！AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资，估值达13亿美元。它每周处理25万亿个tokens，全球用户超800万。其提供AI推理统一控制层，解决企业多模型管理难题，开源模型崛起使其价值凸显。
姚顺雨腾讯首篇论文：给AI下半场指路“上下文学习”
姚顺雨入职腾讯后首个成果CL - bench，用来测试大模型“从上下文中学习”能力。研究指出当下模型多依赖“过去”知识，无法适应“当下”学习。评测中，十个前沿模型表现不佳，揭示其真实场景应用缺陷。
DeepSeek-V4发布！高效百万上下文智能普惠时代来了
DeepSeek-V4发布，是开源社区关键分水岭。它解决超长文本处理效率痛点，架构与优化有多项突破，降低算力消耗和成本，适配国产芯片，性能比肩顶级闭源模型，推动开源社区两大未来趋势。