搜索：推理服务基础设施

「推理服务基础设施」共找到 2930 篇相关文章

LinkedIn 重构服务发现：在大规模环境中用 Kafka 和 xDS 取代 Zookeeper

LinkedIn 工程博客中，Bohan Yang 介绍升级基于 ZooKeeper 的传统服务发现平台项目。因传统系统有扩展性问题，团队开发新架构，分离读写路径，实施双读双写机制，迁移后数据传播延迟显著改善。

12月20日SGLang AI金融π对收官，聚焦大模型推理效率。昇腾成SGLang原生支持后端，助DeepSeek等模型免调参运行。SGLang给出推理系统工程解法，昇腾与SGLang深度共建，性能优且全面拥抱开源。

8月19日，北京AIGC视听产业创新中心启用。朝阳区发布“政策服务包”，首创郎园公布“六大服务平台”，联合推出数据交易平台。此外，还发布人才计划、揭牌产教融合实验室，启动测评季活动。

南洋理工大学团队在ACL 2026发表VChain框架，引入大模型视觉推理能力提升视频逻辑连贯性。它分三步实现，实验效果超现有方法，还展示视频推理与生成的潜在趋势，为多模态模型协作提供范例。

谷歌给Gemma 4家族更新Multi - Token Prediction推测解码架构，推理速度最高提升3倍且输出质量不变。介绍了LLM推理慢的原因、MTP解决办法、对开发者的利好、技术细节、使用方式等。

京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。

传统智能体系统难兼顾稳定性和学习能力，斯坦福等团队提出AgentFlow框架，通过模块化和实时强化学习优化策略，使7B参数模型在多任务上超越GPT - 4o等大模型，为AI发展提供新思路。

文章介绍端午用通义灵码+高德MCP 2.0定制北京3天旅行攻略，包括利用已有MCP服务定制攻略的步骤，还讲述打造专属MCP服务的方法，最后给出自由探索方向。

南加州大学团队基于LoRA的强化学习训练1.5B推理模型，在AIME 24测试上性能提升超20%，成本仅9美元。开源Tina模型结合三大关键技术，与SOTA模型相比竞争力强，研究者还对其有效性提出假设。

北京AIGC视听产业创新中心位于朝阳区东坝乡，是朝阳区推动影视制作基地建设的举措。由多方参与，首创郎园运营，提供六大服务平台，截至2025年8月汇聚60余家生态伙伴。首创郎园拓展服务边界，项目多地布局。