「Token优化」共找到 1812 篇相关文章
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
合理利用应用商店ASO优化工具，提升APP产品权重和转化率（工具篇）
应用商店优化（ASO）是提升App曝光和下载转化率的关键过程，涉及榜单排名、关键词搜索、转化率及其他展位优化。图标、截图、宣传文本、关键词设置等都是影响用户感知和下载决策的重要因素。
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
无Tokenizer时代真要来了？Mamba作者再发颠覆性论文，挑战Transformer
Mamba作者之一Albert Gu参与的论文提出分层网络H - Net，用动态分块取代tokenization。Tokenization虽能压缩序列但有缺点，H - Net在多方面表现出色，或预示无需Tokenizer训练时代到来。
刚刚，北京建了一座AI工厂：目标10万P算力，日产10万亿Token！
九章云极在2026全球智算科技峰会发布AI工厂战略，含训练和Token工厂，目标10万P算力、日产10万亿Token。用DCU度量投入，Token度量产出，重构智能生产与交付体系，适配不同企业需求。
Nature Computational Science | 香港城市大学韦业等：复杂系统深度主动优化
本文通过集成深度神经网络和树探索能力，提出神经网络代理模型引导树探索的主动优化方法。该方法在超2000维数值优化问题中找到全局最优，在多领域表现优于现有方法，为小样本、高维优化难题提供通用技术。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
单机H200最快DeepSeek V3和R1推理系统优化秘籍
作者从开源技术分享角度，盘点SGLang对单机规模推理的大量工程优化技巧，涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等，助于提升DeepSeek V3/R1在单机H200上的推理性能。
为什么你的 AI Coding 账单越涨越快？十个节约 Token 的工程办法。
文章指出今年大模型Token账单涨得快，尤其AI编程重度用户。从工程角度总结降低Token消耗的方法，如上下文清场、代码导航等，还分析AI Coding的Token变贵原因及各方法适用边界。
Fable 5.1变身Token刺客，几分钟烧光额度！AI圈掀起「榨汁革命」
Anthropic发布的Fable 5.1虽性能强但极耗Token，引发开发者不满。当前AI产业面临算力饥渴与Token通胀问题，企业落地AI痛点多。迅策科技的TokenCloud平台能助力企业高效转化Token，还介绍了其配套产品TokenOS。