搜索：省Token策略 - AI Reading Hub

「省Token策略」共找到 1574 篇相关文章

英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速

多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。

文章指出大模型与MySQL数据库运维结合能改变传统管理方式，提供完整的MySQL大模型运维系统构建路径，涵盖知识库建设、模型选择与调用策略设计、MCP Server开发及监控与优化闭环建立，可提升运维效率与准确性。

文章指出一些人认为多模态方法能实现AGI，但作者觉得此策略会失败。真正的AGI要理解物理世界，而LLMs只是记忆规则。此外，规模最大化方法用于AGI有数据稀缺问题，多模态建模也存在诸多问题。

本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

Claude Code团队将“循环”定义为AI智能体不断重复执行工作周期，直至满足预设停止条件。文章介绍了回合制、目标导向、基于时间和主动式四种循环类型、适用场景及控制token消耗方法，还给出保证代码质量的原则。

生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。

Anthropic发布Claude Sonnet 5，官方称补足了Agent能力，价格优惠，但开发者反应不佳。Sonnet 5因tokenizer换代，实际使用成本更高，且比同类模型贵。与之相比，DeepSeek V4 Pro便宜很多，其靠技术实现低价，海外厂商难以复刻。

DeepSeek官方邮件称7月上线V4正式版，高峰时段API各类token价格翻倍，但其他时段仍维持低价。此前它一直以低价著称，此次涨价或与算力紧张、自建数据中心有关，且更新将带来功能优化和性能提升。

英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。