搜索：分布式推理系统

「分布式推理系统」共找到 3593 篇相关文章

3 个 Multi-Agent 系统，把 GPTBots 的多智能体协作玩明白了！

文章介绍如何在GPTBots平台玩转多智能体系统，阐述多智能体协作优势、架构及三种协作模式，通过旅游规划、辩论对抗、商业决策三个案例展示协作模式应用，还给出总结与进阶建议。

12月20日SGLang AI金融π对收官，聚焦大模型推理效率。昇腾成SGLang原生支持后端，助DeepSeek等模型免调参运行。SGLang给出推理系统工程解法，昇腾与SGLang深度共建，性能优且全面拥抱开源。

南洋理工大学团队在ACL 2026发表VChain框架，引入大模型视觉推理能力提升视频逻辑连贯性。它分三步实现，实验效果超现有方法，还展示视频推理与生成的潜在趋势，为多模态模型协作提供范例。

谷歌给Gemma 4家族更新Multi - Token Prediction推测解码架构，推理速度最高提升3倍且输出质量不变。介绍了LLM推理慢的原因、MTP解决办法、对开发者的利好、技术细节、使用方式等。

飞猪移动端页面搭建体系从初代寄生于阿里集团平台，发展成“搭投”体系。但传统人工选搭投模式待优化，为此启动AI智能搭投升级专项，构建新范式，还介绍产品结构、技术实现及后续规划。

京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。

2026年4月，Andrej Karpathy提出LLM Wiki，将LLM使用范式推向「知识生产系统」。6月27日，RGK用Claude Code + Obsidian构建“第二大脑系统”，解决记忆、上下文、执行问题，还引入反馈机制、优化Token成本。

南加州大学团队基于LoRA的强化学习训练1.5B推理模型，在AIME 24测试上性能提升超20%，成本仅9美元。开源Tina模型结合三大关键技术，与SOTA模型相比竞争力强，研究者还对其有效性提出假设。

谷歌论文提出Learn Your Way AI增强型教科书系统，有两阶段AI生成框架，构建完整学习体验。经专家评审和RCT证明，使用该系统的学生学习效果和体验更好，还介绍了其可用场景。

开源君分享开源项目`ReactOS`，它类似Windows，目标是与NT系列无缝兼容，可直接运行Windows软件和驱动。该项目始于1996年，在Github获15.9K star，有轻量、兼容等特点，安装简单。