搜索：分布式推理系统

「分布式推理系统」共找到 3603 篇相关文章

斩获4.1K star，再见tcpdump！这款开源神器让网络分析快如闪电！

Kyanos是基于eBPF技术的开源网络分析工具，能透视Linux内核网络活动，解决分布式系统网络难题。它零配置、有内核级透视和智能流量解密能力，功能丰富，应用场景广，相比同类优势明显。

本文整理自 QCon 全球软件开发大会·2026 石孝钢演讲。京东零售面对百亿级商品素材供给难题，构建 Oxygen Vision 系统，从艺术、技术、算术三方面探索，实现日供超 1000 万素材，服务超 100 万家商家，核心 XTR 综合提升 29%。

在 GTC 2026 上，黄仁勋与 10 位开源 AI 掌门人探讨开放模型。大家认为 AI 正从模型走向系统，未来算力或向后训练倾斜。OpenClaw 让大众感知到 agent，企业落地难点在治理，开放模型价值体现在可控、定制和信任。

Bending Spoons是欧洲非游戏类应用工厂，靠收购模式年入7亿美元。创始人Luca Ferrari称收购是买时间和优势，解锁被收购公司潜力。公司核心竞争力是内部系统，还回应了裁员争议，也谈及未来规划。

SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。

Shopify分享构建生产级AI助手Sidekick的万字经验。构建中遇工具拓展难题，用JIT指令解决；评估是大挑战，建立严谨体系，虽有提升但效果仍有波动，模型还会钻空子，最后强调单Agent系统也强大。

文章以某科技公司AI产品部门负责人张文的经历为例，讲述AI客服系统失败、AI编程助手成功的情况，指出AI应用存在期望与场景不匹配问题，还探讨了AI落地转变及组织搭建难题与解决办法。

阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。

英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。

8月4日腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行。模型推理快、性价比高，在多领域表现出色，亮点是Agent和长文能力，已在腾讯多业务应用。