「推理缓存优化」共找到 3038 篇相关文章
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
重塑AI记忆边界：MemOS开源！时序推理较OpenAI提升159%
近日，记忆张量等多家团队发布面向大模型的工业级记忆操作系统MemOS。它借鉴传统操作系统架构，实现AI记忆结构化管理，性能超OpenAI等方案，未来将成立社区、推进应用及持续迭代。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。
规模化人工判断：Dropbox 如何借助大语言模型优化 RAG 系统标注
为提升 Dropbox Dash 生成回复的相关性，工程师采用大语言模型辅助人工标注。该方案解决了纯人工标注的局限，通过人工校准大语言模型标注的方法，为 RAG 系统提供了有价值参考。
博士学位答辩PPT分享 | 基于神经网络的偏微分方程优化求解方法研究
本文聚焦基于神经网络的偏微分方程优化求解方法，指出传统数值求解范式有局限，物理信息神经网络（PINNs）虽有潜力但面临瓶颈。作者从多方面研究，形成工程流动问题分析框架与改进方法。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
Kimi 大模型训推混部的稳定性与资源优化实战
月之暗面系统工程师黄维啸在 QCon 大会分享 Kimi 大模型训推混部实践。介绍了训推集群挑战，如故障多、资源利用低等，还阐述了全链路稳定性提升、资源高效利用及强化学习混合部署等方案。
实测爆火的阶跃星辰Step 3，性能SOTA，开源多模态推理之王
在 WAIC 2025 前一天，阶跃星辰推出新一代基座模型 Step 3，它是开源 VLM 新晋之王，性能超同类别开源模型，与顶尖闭源 VLM 也有一战之力。该模型具备多开好省特点，还展示了宏大技术生态与商业化布局。