「搜索引擎优化」共找到 1854 篇相关文章
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
从 AI 创业角度看 GEO：如何引流、效果评估，以及创业机会在哪里？
文章从AI创业角度剖析GEO，介绍其原理、内容优化策略、实操建议、效果评估搭建、代表产品等，指出GEO与SEO不同，虽有争议但值得做，还探讨了相比SEO的更多想象空间。
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。
5秒出4张2K大图！阿里提出2步生成方案，拉爆AI生图进度条
阿里智能引擎团队针对Qwen最新开源模型，将SOTA压缩水平从80 - 100步前向计算骤降至2步，速度提升40倍，5秒可出4张2K高清大图。已发布Checkpoint，集成到呜哩AI平台。文章还分析传统蒸馏方案问题并介绍团队改进策略。
探索 GPU 加速向量检索：NVDIA Cagra 在微信大规模推荐系统中的应用实践
本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势，讲述线上化改造、架构演进、CPU/GPU 协同优化等，展示业务落地显著收益。
Karpathy加入Anthropic要做的事，被Google提前做了
Karpathy官宣加入Anthropic要组建新团队‘用Claude加速预训练研究’，话音未落，Google&Meta等发论文‘LLMs Improving LLMs’验证了该思路。论文让Claude Code搜索最优推理策略，结果全面超越人类设计。
产学研深度融合样本：高校教授携手昇腾，共筑AI算力生态基石｜甲子光年
本文对话华南理工大学陆璐教授，他有丰富业界经验，回归学界后聚焦AI算力平台性能优化。其团队与昇腾合作解决性能挑战，成果用于开源与产品集成。陆璐还对算力生态未来给出战略与实操建议。