「PD分离架构」共找到 1887 篇相关文章
LLM工业级自进化：北邮与腾讯AI Lab提出MoE-CL架构，解决大模型持续学习核心痛点
北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’，在腾讯业务及基准测试中效果佳，降低人工成本，准确率优于主流方法。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
告别「解码器饥饿」！中国科学院NeurIPS推SpaceServe，高并发克星
中国科学院计算技术研究所入选NeurIPS 2025的论文提出SpaceServe架构，将LLM推理P/D分离扩展至多模态场景，通过EPD三阶解耦与「空分复用」，解决MLLM推理行头阻塞难题，在Qwen2 - VL系列模型实测中表现出色。
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
Transformers v5 中的分词系统：更简洁、更清晰、更模块化
文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。
Remix 3终结以React为中心的架构
多年来，React 一直是全栈 JavaScript 架构基础。但 Remix 3 挑战了这一局面，它遵循渐进式增强和服务器优先原则，将 Web 基本原理置于核心，重新定义构建方式，引发对 React 中心架构的思考。
清华唐杰团队揭示大模型记忆全景
清华唐杰教授团队等发布大模型记忆架构综述，提出三维记忆分类学，将前沿工作统一到理论框架，为LLM设计指明方向，分析了隐式、显式记忆架构，还探讨混合架构挑战与未来方向。
Anthropic发布多Agent协作模式指南：5种架构与适用场景
当单个AI Agent无法完成任务时，多Agent系统就派上了用场。Anthropic最新发布的指南给出了五种经过验证的模式，包括生成 - 验证模式、编排 - 子代理模式等，并介绍了适用场景和陷阱。
AI 创业者想出海拿美元，搭好可融资的企业架构才是第一步
本文围绕AI创业者出海搭建可融资企业架构展开。指出投资人投的是公司而非产品，介绍美国常见实体类型及适用场景，还谈及股权分配、董事会架构设计，以及中美创投实践差异，给出相关建议。