推荐文章7
探究大语言模型推理之缓存优化
阿里云开发者
AI 摘要
文章探究大语言模型推理缓存优化技术,介绍主流推理框架vLLM、SGLang的优化方法,如PagedAttention、RadixAttention等,还提及LMCache、DeepSeek的缓存技术,最后介绍MCP赋能可视化OLAP智能体应用。
阅读原文 · 阿里云开发者
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
MCP 走向无状态,社区看法不一
MCP 2026 - 07 - 28 规范取消协议会话,新增必需 HTTP 标头,可对智能体流量路由等。社区反应分歧大,有人认为无状态让 MCP 变回 REST API,也有人强调它是获 AI 提供商认可的标准。MCP SDK 下载量高,但服务器使用存问题。
InfoQ
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
阿里云开发者
开源动态7
27.2k Star FastMCP:让MCP工程化
文章介绍了27.2k Star的FastMCP,它是Python MCP应用框架,能让普通Python函数成为MCP工具。讲了其适合场景、省事原因及上线安全边界,还给出了适用人群和注意点。
小华同学ai
新闻资讯7
TAAC×KDD大赛落幕,600万奖池有归属
TAAC × KDD Cup 2026大赛落幕,600万奖池揭晓归属。大赛吸引52国13913名选手,竞争激烈。冠军团队分别用DeepSeek网页版等工具,在赛题“统一建模”难题上各展方案,其成果或助广告外的LLM研究。
机器之心