「推理技术栈」共找到 4669 篇相关文章
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
国民技术发布面向AI数据中心的3 kW数字电源参考设计方案
在AI算力增长与能源转型驱动下，电力供给变革。国民技术发布面向AI数据中心的3 kW数字电源参考设计方案NS3KW53V5P2L3，基于N32H474芯片和Hunter OS生态，有高转换效率等优势。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。
肖涵：2026 年的 AI 搜索就是智能体记忆 | Elastic 中国 AI 搜索技术大会
2026 年智能体记忆成 AI 基建新战场，虽概念不新但获前所未有的紧迫感。因智能体任务变长但记性差，加记忆后又有记不住该记、忘不掉该忘的问题，遗忘成最大难题，产品分三条技术路线。
「国产GPU第一股」首秀！新架构下周揭秘，全栈底座不藏了
2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举行。届时会揭晓新一代GPU架构与路线图，设20+技术专场，还有1000㎡科技嘉年华，展示全栈能力与生态进展。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
24张图，从GPT-2到gpt-oss，看OpenAI开源模型技术演进
2025年8月OpenAI释出gpt-oss-20b与gpt-oss-120b两个开源权重模型。文章梳理了从GPT - 2到gpt - oss的技术演进，拆解关键创新点，对比了与Qwen3的差异，介绍训练推理细节、实测体验及与GPT - 5跑分对比情况。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
一场文心大模型的「AI马拉松」
2025 年模型能力至关重要，百度在基础模型研发持续投入。百度 AI Day 上，吴甜解读文心新模型技术，文心 X1 Turbo 推理强、成本低。百度技术体系完备，未来看好多模态与智能体，降成本促应用生态发展。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。