「推理缓存优化」共找到 3038 篇相关文章
聊聊AI应用架构演进
本文按AI应用架构演进路线，介绍每次演进增加的架构内容及相关技术，涵盖从简易架构到Agent模式等各阶段，还提及监控、推理性能优化等，助读者整理新技术，为探讨AI与传统应用架构异同做调研。
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
构建会“说话”和“行动”的 AI：生成式数字人技术与 EchoMimic 实践
在 QCon 全球软件开发大会上，支付宝李宇明围绕 EchoMimic 介绍生成式数字人进展、技术、应用及研究思路。对比传统数字人，生成式数字人成本低、易控制，但也有技术新、推理成本高的问题。EchoMimic 两版本已开源，经优化推理速度可提升。
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
Learn to Reason _ The way of Baichuan-M1-ClinicReasoning
前百川智能研究小组负责人阎栋分享大语言模型临床推理。回顾推理技术发展，以Deepseek为例；介绍百川在医疗推理实践，模型达三甲主治水平；还谈及大模型训练困境及与人类智能差异。
谷歌提出破局Self-Consistency计算瓶颈！LLM推理效率革命，推理加速不牺牲精度
Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。
哈工大、中科院等利用模型“潜意识”提高推理模型效率，0.6B撬动复杂推理
哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。
ASO应用商店优化原理和操作流程，ASO推广优化主要方式？（进阶篇一）
ASO进阶篇第一章：ASO的目标，ASO的原理和流程，ASO优化的主要方式。