「Token优化」共找到 1812 篇相关文章
告别JSON冗余：TOON让Token成本降低30-60%
LLM交互用JSON有冗余，成本高、速度慢。TOON格式专为LLM优化，结合YAML和CSV特点，比JSON减少30 - 60%的token消耗，还介绍了特性、上手方法、集成实践和适用场景。
DeepSeek-V3.2巨「吃」Token，竟然是被GRPO背刺了
DeepSeek-V3.2发布后引起关注，但长思考版本暴露出Token使用效率不佳问题，消耗远超同类模型。这或与GRPO算法缺陷有关，其目标函数存在长度和难度偏置，长度偏置仍是该版本高Token消耗的原因。
极致优化Android平台APK的大小
文章以Android为例，介绍UE包可裁剪部分的优化思路与实践，优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手，还给出优化效果和额外资料。
Karpathy刚开源的autoresearch，我拿来优化龙虾skill，成功率从56%飙到92%
Karpathy发布开源项目autoresearch，可让AI优化AI。作者分享用其优化skill的实践，介绍优化流程，指出可将模糊表述拆成可判断是非题，还提及定义评估标准的方法与常见错误修正。此外，还能用于代码性能优化。
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
Headroom：Netflix 工程师开源的上下文压缩工具，省 token 还是烧 token？
Netflix工程师Tejas Chopra开源Headroom，定位为AI Agent的上下文压缩层，压缩工具输出等内容，有可逆压缩等特性。官方数据显示节省token效果好，但微软工程师实测结果中性偏负面。
AI编程Token消耗降低神器：RTK（Rust Token Killer）实战指南
文章介绍RTK（Rust Token Killer），它能在CLI命令输出到LLM上下文前智能过滤压缩，节省60 - 90%Token。文中说明了其原理、特性、压缩策略，还给出安装配置步骤、实测数据及使用建议。
AST | 西交大刘子扬、陈刚等：直接嵌入流场特征的智能化气动外形优化经验学习框架
传统气动外形优化方法有局限，本文提出智能化优化经验学习框架，结合DNN流场预测模型与DRL优化方法，还提出自适应网格再生成技术与Sigmoid奖赏函数，经验证效果良好，为气动优化提供新路径。