算法论文8
吴恩达:丢弃推理token可提速3倍
PaperAgent
AI 摘要
吴恩达新作Prefix Sliding已开源,指出推理时丢弃中间贬值token,保留前缀和滑动窗口,无需训练可提速3倍,配合训练能扩展推理轨迹,为Agent场景提供零额外生成开销思路。
阅读原文 · PaperAgent
吴恩达新作:87%推理token用不着,丢掉反而快3倍
吴恩达新作Prefix Sliding指出,模型推理时丢弃中间已贬值token,只保留前缀+滑动窗口,无需训练可提速3倍,配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
百融智能“硅基客服”跨行业上岗
今年7月,一家头部物流企业和大型综合类头部券商上线百融智能的AI客服,业务量和部署规模增长显著。百融智能正战略升级,以新一代AICC智能联络技术向多行业拓展,其创始人张韶峰分享了相关思考与技术优势。
机器之心
开源动态7
EvoMap:构建自进化 Agent 网络
当下 Work Agent 难以稳定完成复杂长程任务,且经验无法沉淀。EvoMap 提出自组织蜂群架构,通过 AutoResearch 落地验证,探索 AI4AI 方向,构建记忆和连接的三层产品结构,推动 Agent 网络自进化。
特工宇宙
推荐文章8
EvoMap团队给出RSI工程新解
目前行业探讨大模型的RSI时,常陷入思维定势。EvoMap团队没有盲目跟风,而是提出极具现实意义的工程新路径,构建自进化智能体,让经验在网络流转,还以硬核数据证明其体系有效性。
机器之心
开源动态8
Semantica:给Agent加知识图谱
Semantica是LLM、向量库与Agent框架下的语义/上下文层,能把碎片化企业数据变成结构化、可查询的上下文图与知识图谱。介绍了其面向对象、功能、优势、使用方法、架构等内容。
GitHubStore